Robots.txt: qué es y cómo configurarlo

Qué es el robots.txt

Es un archivo de texto que va en la raíz del dominio principal, siempre en la misma dirección: tusitio.com/robots.txt. Su función es comunicar a los bots de los buscadores y de otras herramientas qué secciones del sitio pueden rastrear y cuáles deben evitar.

Tres cosas que conviene tener claras desde el principio:

• Se enfoca en el rastreo, no en la indexación. Más abajo vemos por qué esa diferencia importa.
• Sus instrucciones se siguen de forma voluntaria. Los bots de Google y de las grandes plataformas las respetan; un bot malicioso puede ignorarlas.
• Es público: cualquiera puede leerlo escribiendo la dirección en el navegador.

Por qué importa: el presupuesto de rastreo

Google dedica a cada sitio una cantidad limitada de tiempo y recursos para rastrearlo. Eso se conoce como presupuesto de rastreo (crawl budget).

Imagina a Google como un cartero con un número limitado de cartas para repartir en tu barrio, que es tu sitio. Si se pierde entregando cartas en casas vacías, no le alcanza para las importantes. En una tienda en línea, las casas vacías son el carro de compra, el inicio de sesión o las miles de combinaciones de filtros. El robots.txt le indica dónde no vale la pena ir, para que use su tiempo en tus productos y categorías.

El presupuesto de rastreo es un problema real en sitios grandes, con cientos de miles o millones de URLs. Si tu sitio tiene menos de unas 100.000 páginas, la configuración básica suele ser suficiente.

Cómo se escribe

El archivo se arma con unas pocas instrucciones:

• User-agent: a qué bot se aplican las reglas. Un asterisco (*) significa «a todos».
• Disallow: qué rutas no se deben rastrear.
• Allow: excepciones dentro de una ruta bloqueada.
• Sitemap: la dirección de tu sitemap XML. Es una buena práctica declararlo aquí, además de enviarlo en Google Search Console.

El robots.txt más simple permite todo y declara el sitemap. Es exactamente el que usa este sitio:

User-agent: *
Allow: /

Sitemap: https://diegoleiva.cl/sitemap-index.xml

Y este es un ejemplo para una tienda en línea que bloquea las páginas sin valor para el buscador:

User-agent: *
Disallow: /carrito
Disallow: /checkout
Disallow: /mi-cuenta
Disallow: /*?filtro=

Sitemap: https://tutienda.com/sitemap.xml

Los bots que más importan

Cada bot se identifica con un nombre. Google tiene varios: Googlebot, el rastreador principal, y otros específicos para imágenes y anuncios. También están los de otros buscadores, como Bing; los de redes sociales, que leen tus páginas cuando alguien las comparte; los de herramientas SEO, como Ahrefs o Semrush; y, cada vez más importantes, los de inteligencia artificial.

Bots de inteligencia artificial

Si quieres que tu sitio aparezca en las respuestas de ChatGPT, Claude, Gemini o Perplexity, sus bots tienen que poder leerlo. Con la configuración básica (User-agent: * con Allow: /) ya pueden. Lo importante es no bloquearlos sin querer. Estos son los nombres que más vas a encontrar:

Igual que Google, OpenAI y Anthropic tienen además otros bots para tareas específicas, como sus búsquedas en tiempo real. Si quieres reglas distintas para cada uno, revisa la lista que publica cada empresa en su documentación.

Por ejemplo, para que el bot principal de OpenAI no rastree tu sitio, pero sí el de Anthropic:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Allow: /

Buenas prácticas

• Bloquea las páginas sin valor para el buscador: carro de compra, checkout, páginas de agradecimiento, administración y URLs con filtros infinitos.
• Declara tu sitemap al final del archivo.
• No bloquees archivos CSS, JavaScript ni imágenes: Google los necesita para entender cómo se ve y de qué trata tu página.
• Revísalo después de cambios importantes, como una nueva sección o un cambio de estructura.

Lo que el robots.txt no hace

• Bloquear no es desindexar. Si una página bloqueada recibe enlaces, desde tu propio sitio o desde otro, Google puede indexarla igual, aunque no la rastree. Para que una página no aparezca en Google, usa la etiqueta noindex y deja que Google la rastree para que la vea.
• No protege información. El archivo es público: nunca lo uses para esconder páginas privadas o datos confidenciales.
• No detiene a los bots maliciosos, que ignoran sus instrucciones.

Bloquear herramientas de la competencia

Hay quienes bloquean los bots de herramientas como Ahrefs o Semrush para que la competencia no pueda analizar la estructura de su sitio. Funciona, pero tiene un costo: tú tampoco vas a poder analizar tu sitio con esas herramientas.

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

Cómo crear el archivo

1. A mano: abre un editor de texto simple, escribe las reglas, guarda el archivo con el nombre exacto robots.txt y súbelo a la raíz de tu sitio.
2. Con un generador en línea, que te guía para elegir qué bots permitir y te entrega el archivo listo.
3. Con un plugin, en WordPress y WooCommerce: Yoast SEO o Rank Math lo crean y te dejan editarlo sin entrar al servidor. Revisa que exista, porque WooCommerce no siempre lo crea por defecto.
4. Con ChatGPT u otra IA, pidiéndole las reglas que necesitas. Revisa el resultado línea por línea antes de subirlo.

En Shopify el archivo viene creado y su configuración por defecto suele ser suficiente.

Cuándo conviene modificarlo

• Cuando tu sitio tiene cientos de miles de URLs y el presupuesto de rastreo se vuelve un problema.
• Cuando tienes filtros o parámetros que generan URLs infinitas, algo común en sitios hechos a medida o con plugins avanzados de filtros.
• Cuando quieres bloquear bots específicos, como los de herramientas SEO o los de entrenamiento de IA.
• Cuando necesitas reglas especiales para versiones internacionales o entornos de prueba.
• Cuando detectas que Google rastrea páginas sin valor.

En el resto de los casos, la regla es simple: es mejor no tocar el robots.txt que configurarlo mal. Una sola línea equivocada puede impedir que Google rastree tu sitio completo.

Cómo probarlo

• Google Search Console: en Configuración está el informe de robots.txt, donde ves si Google lo encuentra y lo lee sin errores. Lo vemos en detalle en el curso de Search Console.
• Screaming Frog: simula cómo los bots recorren tu sitio y te muestra qué URLs quedan bloqueadas.
• Registros del servidor (logs): si tu sitio está en tu propio servidor, como en WordPress, muestran qué bots entran realmente y a qué páginas. En Shopify no tienes acceso a ellos.

Qué revisar en tu sitio

• Tu sitio tiene un robots.txt en tusitio.com/robots.txt.
• No contiene un Disallow: / para todos los bots.
• Declara la dirección de tu sitemap.
• No bloquea archivos CSS, JavaScript ni imágenes.
• Las páginas que no quieres en Google tienen noindex, en vez de estar solo bloqueadas.
• Decidiste a conciencia qué bots de IA permites y cuáles no.
• El informe de robots.txt de Search Console no muestra errores.

Errores comunes

• Bloquear el sitio completo por accidente con Disallow: /. Es el error más grave, y pasa seguido cuando se copia el archivo de un sitio en desarrollo.
• Usarlo para sacar páginas de Google. Como no impide la indexación, la página puede seguir apareciendo.
• Bloquear recursos que Google necesita para ver la página.
• No declarar el sitemap.
• Bloquear URLs que sí deberían rastrearse, por una regla demasiado amplia.

Tu próximo paso: escribe tusitio.com/robots.txt en el navegador y revisa qué tiene. Después sigue con la clase de sitemap XML.