Ejemplo de Robots txt
Los entornos que utilizan un dominio de conveniencia (por ejemplo, un subdominio de go-vip.net o go-vip.co), tienen una salida /robots.txt codificada que devuelve un resultado “Disallow for all user agents”. Esto es para evitar que los motores de búsqueda indexen el contenido alojado en sitios que no son de producción, o sitios de producción no lanzados. Para modificar la salida de /robots.txt un entorno (de producción o de no producción) debe tener un dominio mapeado personalizado.
El archivo /robots.txt se almacena en caché durante largos períodos de tiempo. Para forzar que la caché se borre después de cualquier cambio realizado en el archivo, vaya a Configuración > Lectura dentro de WP-Admin y cambie la configuración de la visibilidad del motor de búsqueda, guardando los cambios cada vez que se cambie la configuración.
Los mejores robots txt de wordpress
Si estás en un nicho altamente competitivo con un sitio grande, probablemente. Sin embargo, si está empezando su primer blog, la construcción de enlaces a su contenido y la creación de muchos artículos de alta calidad son prioridades mayores.
El archivo Robots.txt suele estar en la carpeta raíz del sitio. Tendrás que conectarte a tu sitio usando un cliente FTP o usando el administrador de archivos de tu cPanel para verlo. Es un archivo de texto ordinario que puede abrir con el Bloc de notas.
Si no tiene un archivo robots.txt en el directorio raíz de su sitio, puede crear uno. Todo lo que tiene que hacer es crear un nuevo archivo de texto en su ordenador y guardarlo como robots.txt. A continuación, cárguelo en la carpeta raíz de su sitio.
Ten en cuenta que si utilizas un plugin como Yoast o All in One SEO, puede que no necesites añadir la sección del mapa del sitio, ya que intentan hacerlo automáticamente. Si falla, puedes añadirlo manualmente como en el ejemplo anterior.
Sin embargo, le recomiendo que no permita el archivo readme.html en su archivo robots.txt. Este archivo readme puede ser utilizado por alguien que intente averiguar qué versión de WordPress está utilizando. Si se trata de una persona, puede acceder fácilmente al archivo simplemente navegando hasta él. Además, poner una etiqueta disallow puede bloquear ataques maliciosos.
WordPress robots txt mejores prácticas
Sin embargo, hay otro visitante importante en el que deberías pensar cuando gestionas un sitio web de WordPress: los bots. Según un informe de 2020, se estima que el tráfico de bots representa alrededor del 40% de todo el tráfico del sitio web, que comprende un 25% de “bots malos” y un 15% de “bots buenos”.
Para hacer frente a los bots malos, consulte nuestra guía de seguridad de WordPress. En este artículo, nos centraremos en los bots buenos, es decir, los que utilizan los motores de búsqueda para rastrear sus páginas e indexar su contenido para que su sitio web aparezca en los resultados de búsqueda.
Hay muchas maneras de mantener y optimizar su sitio de WordPress para los bots buenos, una de las cuales es entender cómo funciona su archivo robots.txt. Este archivo puede instruir a los bots para que vayan a algunas partes de su sitio web mientras ignoran las partes que usted quiere ocultar de las búsquedas. De este modo, sólo se rastrea el contenido relevante y se muestra en los resultados de búsqueda orgánica.
En WordPress, robots.txt es un archivo que contiene comandos especiales para los robots de rastreo de la web. Su objetivo es indicar a los robots de los motores de búsqueda cómo indexar su sitio web. Por defecto, el archivo robots.txt se encuentra en el directorio raíz de su sitio web y puede modificarse fácilmente para fines de SEO.
Probador de Robots txt
WordPress suele ejecutar un archivo llamado robots.txt “virtual”, lo que significa que no es accesible a través de SFTP. Sin embargo, puede ver su contenido básico yendo a sudominio.com/robots.txt. Probablemente verá algo parecido a esto:
Para un sitio web sencillo de WordPress, las reglas por defecto aplicadas por WordPress al archivo robots.txt pueden ser más que adecuadas. Sin embargo, si desea un mayor control y la posibilidad de añadir sus propias reglas para dar instrucciones más específicas a los robots de los motores de búsqueda sobre cómo indexar su sitio web, entonces tendrá que crear su propio archivo físico robots.txt y ponerlo en el directorio raíz de su instalación.
En primer lugar, vamos a ver cómo podemos restringir un bot específico. Para ello, todo lo que tenemos que hacer es sustituir el asterisco (*) por el nombre del agente de usuario del bot que queremos bloquear, por ejemplo “MSNBot”. Una lista completa de agentes de usuario conocidos está disponible aquí.
Un ejemplo de esto es el uso del símbolo $. En los archivos robots.txt este símbolo indica el final de una url. Así, en el siguiente ejemplo hemos bloqueado a los robots de búsqueda para que no lean ni indexen los archivos que terminan en .php