generador de robots.txt
Hay dos formas de implementar noindex: como una metaetiqueta y como una cabecera de respuesta HTTP. Tienen el mismo efecto; elija el método que sea más conveniente para su sitio y apropiado para el tipo de contenido.
En lugar de una metaetiqueta, también puede devolver una cabecera X-Robots-Tag con un valor de noindex o ninguno en su respuesta. Se puede utilizar una cabecera de respuesta para los recursos que no son HTML, como los PDF, los archivos de vídeo y los archivos de imagen. Este es un ejemplo de una respuesta HTTP con una etiqueta X-Robots que indica a los rastreadores que no indexen una página:
noindex, nofollow
Robots.txt es un archivo de texto que los webmasters crean para instruir a los robots de la web (normalmente los robots de los motores de búsqueda) sobre cómo rastrear las páginas de su sitio web. El archivo robots.txt forma parte del protocolo de exclusión de robots (REP), un grupo de normas web que regulan el modo en que los robots rastrean la web, acceden a los contenidos y los indexan, y sirven esos contenidos a los usuarios. El REP también incluye directivas como los meta robots, así como instrucciones para la página, el subdirectorio o el sitio sobre cómo los motores de búsqueda deben tratar los enlaces (como “follow” o “nofollow”).
En la práctica, los archivos robots.txt indican si ciertos agentes de usuario (software de rastreo web) pueden o no rastrear partes de un sitio web. Estas instrucciones de rastreo se especifican “desautorizando” o “permitiendo” el comportamiento de ciertos agentes de usuario (o de todos).
En un archivo robots.txt con múltiples directivas de agentes de usuario, cada regla de desautorización o autorización sólo se aplica a los agentes de usuario especificados en ese conjunto particular separado por saltos de línea. Si el archivo contiene una regla que se aplica a más de un agente de usuario, un rastreador sólo prestará atención (y seguirá las directivas) al grupo de instrucciones más específico.
mapa del sitio en robots txt
Puede haber muchas razones por las que quiera personalizar su archivo robots.txt: desde controlar el presupuesto de rastreo hasta bloquear secciones de un sitio web para que no sean rastreadas e indexadas. Exploremos ahora algunas razones para utilizar un archivo robots.txt.
Bloquear todos los rastreadores para que no accedan a su sitio no es algo que desee hacer en un sitio web activo, pero es una gran opción para un sitio web de desarrollo. Al bloquear los rastreadores ayudará a evitar que sus páginas se muestren en los motores de búsqueda, lo cual es bueno si sus páginas no están listas para ser vistas todavía.
Una de las formas más comunes y útiles de utilizar su archivo robots.txt es limitar el acceso de los robots de los motores de búsqueda a partes de su sitio web. Esto puede ayudar a maximizar su presupuesto de rastreo y evitar que las páginas no deseadas terminen en los resultados de búsqueda.
Es importante tener en cuenta que el hecho de que le haya dicho a un bot que no rastree una página, no significa que no vaya a ser indexada. Si no quiere que una página aparezca en los resultados de búsqueda, debe añadir una etiqueta meta noindex a la página.
subdominio robots txt
La implicación del primer comentario en esa pregunta de Meta era que el archivo robots.txt existía pero era inaccesible (por cualquier razón), en lugar de no estar allí en absoluto. Eso podría causar algunos problemas a los rastreadores de la web, pero eso es una especulación.
El archivo Robots.txt es una convención estrictamente voluntaria entre los motores de búsqueda; son libres de ignorarlo o implementarlo de la manera que deseen. Dicho esto, salvo la araña ocasional que busca direcciones de correo electrónico o similares, casi todos lo respetan. Su formato y lógica son muy, muy simples, y la regla por defecto es permitir (ya que sólo se puede desautorizar). Un sitio sin un robots.txt será totalmente indexado.
(Además, me gustaría añadir que no tener un robots.txt también es un problema en el sentido de que no podrá proporcionar un sitemap para él. Recuerda que los sitemaps sólo se localizan o bien especificándolos en el archivo Robots.txt o bien mediante el envío directo a los buscadores, pero claro, esto último significa que tienes que hacerlo uno a uno, en lugar de que todos lo encuentren rápidamente.
