¿Me puedo fiar de mi archivo robots.txt?

Hace un par de semanas me di cuenta de que google había rastreado un directorio el cuál no debía rastrear, esto fue perdonen las palabras un "putadón" ya que en este directorio contaba con algunos de los proyectos que tengo en marcha y que uso como método de "validación".


Así que nada...llego un día, me siento en mi ordenador y veo que he bajado un 50% el número de visitas en analytics, mi reacción fue algo así como..¡¡WTF!!, tras ver estás malas estadísticas, empecé a investigar que podía haber pasado ya que yo el tema del SEO no lo toco mucho en esta página web y no he podido hacer trampas como el típico rollo de comprar backlinks a otros usuarios por foros etc...

Sigo investigando e investigando y total que mediante un programa analizador SEO, me doy cuenta de que Google esta pasando por alto el robots.txt, no entendía porque...¡Yo veía todo correcto!, entré en Webmaster tools y probé mi robots.txt, me salía que había errores, por lo tanto entre a corregir mi robots.txt...¡Seguía viendo todo correcto!.

Al final llegué a la conclusión de que gzip estaba provocando un problema sobre los archivos txt, por lo tanto Google se hacía un lío al leer mi robots.txt.

Recomendaciones para no indexar un site.

1: robots.txt y comprobar su funcionamiento mediante checkers online o bien webmaster tools.
2: Añadir meta etiquetas en el header noindex, nofollow
3: En un este artículo sobre compresión gzip, os explicaba como comprimir nuestros archivos, pues bien recomiendo no comprimir archivos .txt, para evitar poner un oobstáculoa la arañita de Google.

Así que nada, ahora toca apechugar con la penalización y dar de mala leche las gracias a Google.