Guías de SEO Técnico.¿Qué es y cómo crear un archivo robots.txt?

Tiempo de lectura: 4 minutos

Bienvenidos al segundo artículo de mi Guía de SEO Técnico. En el post anterior hablamos de cómo generar y subir un sitemap a tu web. En este artículo voy a hablar de otro archivo de vital importancia para el posicionamiento de tu página web: el archivo robots.txt.

¿Qué es el archivo robots.txt?

Tal y como explica el propio Google, un archivo robots.txt proporciona información a los rastreadores de los buscadores sobre las páginas o los archivos que pueden solicitar o no de tu sitio web. Su uso original es evitar que tu sitio web se sobrecargue con solicitudes de motores de búsqueda pero, en realidad, cumple un papel mucho más importante en como tu web es (o no) analizada por Google y el resto de bots. ¡Sigue leyendo!

¿Para qué sirve el archivo robots?

El archivo robots.txt se utiliza sobre todo para gestionar el tráfico de los rastreadores a tu sitio web y, a menudo, para que Google no rastree determinadas páginas que no deben ser accesibles. El ejemplo más común es para las páginas internas de una instalación, tales como wp-admin en WordPress o el ps_config en Prestashop, o archivos centrales como el .htaccess o el config.php. Estos archivos y carpetas están destinados a ser solo visibles por el usuario (ósea tu) y por lo tanto se suelen bloquear en el robots.txt para que no sean accesibles.

Un archivo robots.txt proporciona información a los rastreadores de los buscadores sobre las páginas o los archivos que pueden solicitar o no de tu sitio web

Como he dicho antes este es el principal motivo de la existencia del archivo robots pero, como suele pasar en el mundo del posicionamiento SEO, siempre se puede sacar más partido de todo. En el caso del robots.txt esto se aplica a lo que se conoce como nivel de indexación.

Mediante el archivo robots un webmaster puede prevenir a Google de acceder a ciertas páginas que no le interesen. Esto, no solo se aplica a páginas internas, sino también a secciones de la web que sean irrelevantes forzando así a los motores de búsqueda a centrar su atención en las páginas que si deben leer y procesar. Algunos ejemplos de casos en los que se deba usar el archivo robots.txt para mejorar el nivel de indexación son:

1) Bloqueo de páginas dinámicas generadas por WordPress

Por defecto, WordPress genera ciertas páginas que no deben ser indexadas (el directorio /tag/ o /category/ son algunos ejemplos). A pesar de que la mejor opción en estos casos es etiquetar estos directorios con la etiqueta noindex, si tu web es muy grande estas páginas podrían darte algún disgusto cuando sean indexadas en vez de secciones relevantes por agotar tu presupuesto de rastreo. Recomendación: usa ambas.

2) Bloqueo de landing pages y páginas innecesarias

Las landings usadas para campañas de PPC o SMM no deberían indexarse por lo que, al igual que en el caso anterior, lo mejor es bloquearlas en robots.txt y añadirles la etiqueta noindex para evitar sustos con el enlazado interno. Otras páginas que pueden ser bloqueadas en robots son las páginas de error 404.

3) "Mi cuenta" y pasarelas de pago

Este tipo de páginas están diseñadas para contener datos personales y pueden ser muy peligrosas si se indexasen por lo que deben ser bloqueadas en acceso e indexación.

¿Cómo crear un archivo robots?

Para crear el archivo robots existen dos alternativas: utilizar plugins o módulos (dependiendo de tu CMS) o crearlo manualmente y subirlo a tu instalación.

Crear y editar un archivo robots en WordPress usando plugins

Esta es la vía mas sencilla para crear tu archivo robots. Si utilizas plugins de SEO como Yoast o RankMath podrás crear y editar este archivo a través de su editor. En Yoast, simplemente accede al Editor de Archivos y selecciona “Crear archivo robots”. Si ya lo has creado podrás editarlo a tu gusto sin mayor dificultad.

En otros CMS como Prestashop deberás usar la vía manual o comprar módulos (bastante caros) como el PrestaShop robots.txt Editor.

Crear un archivo robots manualmente

Esta opción, a pesar de no ser excesivamente compleja, es más tediosa que usando un plugin. Para crear tu archivo robots deberás usar un editor de texto como el Bloc de notas y guardar tu robots con formato .txt

Recuerda que si necesitas ayuda con el SEO Técnico de tu web, puedes solicitar tu consultoría gratuita hoy mismo.

Una vez creado deberás acceder a tu servidor vía cPanel o FTP y subir el archivo a la carpeta raíz de la instalación. En el caso de WordPress la ruta a usar deberá ser: usuario/public_html/instalacion/

Una vez vuestro archivo robots.txt ya esté subido existen herramientas de test para comprobar si funciona correctamente. La más común es la propia herramienta de Google, Robots.txt Testing Tool. En ella podrás revisar bloqueos y asegurarte de que no hayas creado bloqueos perjudiciales para tu web.

Ejemplo de robots.txt

Cada archivo robots.txt debe ser unico y adaptado al dominio al que se dirija por lo que NO COPIES el siguiente ejemplo directamente en tu web, sino que debes usarlo como modelo en base a tus requerimientos.

User-Agent: *
Allow: /wp-content/uploads/*
Allow: /wp-content/*.js
Allow: /wp-content/*.css
Allow: /wp-includes/*.js
Allow: /wp-includes/*.css
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /*/attachment/
Disallow: /tag/
Disallow: /comments/
Disallow: /xmlrpc.php
Disallow: /?attachment_id*
# Bloqueo de resultados de busqueda internos
User-Agent: *
Disallow: /?s=
Disallow: /search
# Copias de seguridad y bases de datos
User-Agent: *
Disallow: /*.sql$
Disallow: /*.tgz$
Disallow: /*.gz$
Disallow: /*.tar$
Disallow: /*.svn$
# Bloqueo de trackbacks
User-agent: *
Disallow: /trackback
Disallow: /*trackback
Disallow: /*trackback*
Disallow: /*/trackback
Sitemap: tuweb/sitemap.xml

Y hasta aquí la segunda Guía de SEO Técnico. Si no queréis perderos los siguientes artículos, ¡podéis suscribiros a mi newsletter!

¡Nos vemos en el capítulo numero 3!