Ejemplo de Robots txt
WordPress suele ejecutar un archivo llamado robots.txt “virtual”, lo que significa que no es accesible a través de SFTP. Sin embargo, puede ver su contenido básico yendo a sudominio.com/robots.txt. Probablemente verá algo parecido a esto:
Para un sitio web sencillo de WordPress, las reglas por defecto aplicadas por WordPress al archivo robots.txt pueden ser más que adecuadas. Sin embargo, si desea un mayor control y la posibilidad de añadir sus propias reglas para dar instrucciones más específicas a los robots de los motores de búsqueda sobre cómo indexar su sitio web, entonces tendrá que crear su propio archivo físico robots.txt y ponerlo en el directorio raíz de su instalación.
En primer lugar, vamos a ver cómo podemos restringir un bot específico. Para ello, todo lo que tenemos que hacer es sustituir el asterisco (*) por el nombre del agente de usuario del bot que queremos bloquear, por ejemplo “MSNBot”. Una lista completa de agentes de usuario conocidos está disponible aquí.
Un ejemplo de esto es el uso del símbolo $. En los archivos robots.txt este símbolo indica el final de una url. Así, en el siguiente ejemplo hemos bloqueado a los robots de búsqueda para que no lean ni indexen los archivos que terminan en .php
Guía de Robots txt
Los backlinks, también llamados “enlaces de entrada” o “enlaces entrantes” se crean cuando un sitio web enlaza con otro. El enlace a un sitio web externo se denomina backlink. Los backlinks son especialmente valiosos para el SEO porque representan un “voto de confianza” de un sitio a otro. En esencia, los backlinks hacia su sitio web son una señal para los motores de búsqueda de que otros avalan su contenido.
Si muchos sitios enlazan a la misma página web o sitio web, los motores de búsqueda pueden inferir que el contenido es digno de ser enlazado, y por lo tanto también vale la pena mostrarlo en un SERP. Por lo tanto, ganar estos backlinks genera un efecto positivo en la posición del ranking de un sitio o la visibilidad de la búsqueda. En el sector del SEM, es muy habitual que los especialistas identifiquen de dónde proceden estos backlinks (competidores) para seleccionar los mejores y generar backlinks de alta calidad para sus propios clientes.
Teniendo en cuenta que la creación de backlinks muy rentables para una empresa requiere mucho tiempo (tiempo + energía + presupuesto), permitir que sus competidores los identifiquen y dupliquen tan fácilmente es una pura pérdida de eficacia.
WordPress robots txt
Virtual Robots.txt es una solución fácil (es decir, automatizada) para crear y gestionar un archivo robots.txt para su sitio. En lugar de andar con el FTP, los archivos, los permisos, etc., sólo tienes que subir y activar el plugin y ya está.
Lo que vi no fue lo que obtuve. El mapa del sitio XML no estaba incluido en el archivo robots.txt, a pesar de que se describía como una característica que debería funcionar desde el principio. Además de eso, al instalar este plugin, bloqueó ciertos directorios sin preguntar. Por último, inserta una línea en la parte superior del archivo, promocionando el plugin. Esto debería ser una característica opcional que los usuarios puedan desactivar. En general, ofrece la funcionalidad, pero se queda corto y decepciona en otras áreas.
Pero después de guardar su texto sugerido en mi nuevo “robots.txt virtual”, hice clic en el enlace donde dice “Puede previsualizar su archivo robots.txt aquí (abre una nueva ventana). Si su archivo robots.txt no coincide con lo que se muestra a continuación, es posible que tenga un archivo físico que se está mostrando en su lugar.”
Yoast robots txt
Si estás en un nicho altamente competitivo con un sitio grande, probablemente. Sin embargo, si acaba de empezar su primer blog, la construcción de enlaces a su contenido y la creación de muchos artículos de alta calidad son prioridades mayores.
El archivo Robots.txt suele estar en la carpeta raíz del sitio. Tendrás que conectarte a tu sitio usando un cliente FTP o usando el administrador de archivos de tu cPanel para verlo. Es un archivo de texto ordinario que puede abrir con el Bloc de notas.
Si no tiene un archivo robots.txt en el directorio raíz de su sitio, puede crear uno. Todo lo que tiene que hacer es crear un nuevo archivo de texto en su ordenador y guardarlo como robots.txt. A continuación, súbalo a la carpeta raíz de su sitio.
Ten en cuenta que si utilizas un plugin como Yoast o All in One SEO, puede que no necesites añadir la sección del mapa del sitio, ya que intentan hacerlo automáticamente. Si falla, puedes añadirlo manualmente como en el ejemplo anterior.
Sin embargo, le recomiendo que no permita el archivo readme.html en su archivo robots.txt. Este archivo readme puede ser utilizado por alguien que intente averiguar qué versión de WordPress está utilizando. Si se trata de una persona, puede acceder fácilmente al archivo simplemente navegando hasta él. Además, poner una etiqueta disallow puede bloquear ataques maliciosos.
