Imagen destacada para robots.txt y bots de IA: GPTBot, OAI-SearchBot y PerplexityBot

robots.txt y bots de IA: GPTBot, OAI-SearchBot y PerplexityBot

Publicado el:

Tiempo de lectura: 9 min

Tema: Tecnologia

Autor: Leandro Valencia

#robots txt#gptbot#oai searchbot#perplexitybot#bots de ia#claudebot#google-extended#geo#seo técnico

Qué bots de IA permitir en tu robots.txt para aparecer en ChatGPT y Perplexity: GPTBot, OAI-SearchBot, PerplexityBot y más, con ejemplos para copiar.

Tabla de Contenidos

Tu robots.txt decide qué bots pueden leer tu web. Durante años eso significaba Googlebot y Bingbot. Hoy hay una docena de bots de IA con nombres parecidos —GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot— y cada uno hace una cosa distinta.

El error más común no es técnico, es de concepto: bloquear a todos los bots de IA «por si acaso» y desaparecer de ChatGPT y Perplexity sin saberlo, o al revés, creer que hay que abrir la puerta a todos para que la IA te cite. Ni lo uno ni lo otro.

En esta guía tienes qué hace cada bot según su propia documentación, qué permitir para aparecer en los buscadores con IA y ejemplos de robots.txt listos para copiar.

Lo que necesitas saber en 30 segundos

  • Hay bots de búsqueda o citación (OAI-SearchBot, Claude-SearchBot, PerplexityBot): deciden si apareces en las respuestas. Si los bloqueas, desapareces.
  • Hay bots de entrenamiento (GPTBot, ClaudeBot, Google-Extended, CCBot): recogen contenido para entrenar modelos. Bloquearlos es una decisión legítima y no te quita de las respuestas de búsqueda.
  • Hay bots que actúan cuando un usuario lo pide (ChatGPT-User, Claude-User, Perplexity-User): visitan una página porque alguien pegó tu enlace o preguntó por ella.
  • Cada bot se controla por separado. Bloquear GPTBot no te saca de la búsqueda de ChatGPT.

Qué es robots.txt y cómo lo leen los bots

robots.txt es un archivo de texto en la raíz de tu dominio (https://tudominio.com/robots.txt) que dice a cada rastreador qué rutas puede visitar. Está estandarizado en el RFC 9309 y funciona por grupos: cada grupo empieza con una o más líneas User-agent y sigue con reglas Allow y Disallow.

Tres reglas que explican la mayoría de los errores:

  1. Un bot obedece solo al grupo más específico que lo nombra. Si tienes un grupo User-agent: GPTBot, GPTBot ignora por completo el grupo User-agent: *. Si quieres que también respete las reglas generales, tienes que repetirlas en su grupo.
  2. Si no hay ninguna regla para un bot, puede entrar. Un robots.txt vacío o inexistente permite todo.
  3. Gana la regla más específica. Entre Disallow: /blog/ y Allow: /blog/guia/, para /blog/guia/ gana el Allow porque la ruta es más larga.

Y una advertencia: robots.txt es una petición, no una medida de seguridad. Los bots de las grandes empresas dicen respetarlo; un scraper malicioso puede ignorarlo. Si algo no debe ser público, protégelo con contraseña.

Los bots de IA que importan en 2026

Esta tabla resume lo que dice la documentación oficial de cada empresa en noviembre de 2026.

Bot Empresa Para qué sirve Si lo bloqueas ¿Respeta robots.txt?
OAI-SearchBot OpenAI Mostrar webs en la búsqueda de ChatGPT No apareces en las respuestas de búsqueda (sí puedes salir como enlace de navegación) Sí
GPTBot OpenAI Recoger contenido para entrenar modelos Tu contenido no se usa para entrenar Sí
ChatGPT-User OpenAI Visitas que pide un usuario en ChatGPT o en un GPT OpenAI avisa de que robots.txt puede no aplicarse No siempre
Claude-SearchBot Anthropic Mejorar los resultados de búsqueda de Claude Puede reducir tu visibilidad en las búsquedas de Claude Sí
ClaudeBot Anthropic Recoger contenido que puede usarse para entrenar Tu contenido futuro queda fuera del entrenamiento Sí
Claude-User Anthropic Visitas que pide un usuario de Claude Puede reducir tu visibilidad en búsquedas dirigidas por el usuario Sí
PerplexityBot Perplexity Mostrar y enlazar webs en los resultados de Perplexity No apareces en los resultados de Perplexity Perplexity recomienda permitirlo en robots.txt
Perplexity-User Perplexity Visitas que pide un usuario en Perplexity Perplexity dice que este bot en general ignora robots.txt En general, no
Google-Extended Google Controla el uso para entrenar Gemini y para grounding No afecta a tu inclusión ni ranking en Google Search Sí (es un token, no un bot aparte)
CCBot Common Crawl Rastreo para un conjunto de datos abierto, muy usado para entrenar modelos Tu contenido sale de futuros rastreos de Common Crawl Common Crawl indica bloquearlo con robots.txt

Dos detalles que suelen confundir:

  • PerplexityBot no se usa para entrenar modelos, según Perplexity. Es un bot de búsqueda: bloquearlo te quita de sus resultados.
  • Google-Extended no es un rastreador. Google rastrea con sus bots de siempre; Google-Extended es solo un nombre que pones en robots.txt para decir si ese contenido puede usarse para Gemini. Bloquearlo no te saca de la Búsqueda de Google.

Qué permitir para aparecer en ChatGPT y Perplexity

Si tu objetivo es que los buscadores con IA te encuentren y te citen, lo imprescindible es no bloquear a los bots de búsqueda:

  • OAI-SearchBot para la búsqueda de ChatGPT.
  • PerplexityBot para Perplexity.
  • Claude-SearchBot para las búsquedas de Claude.
  • Y, por supuesto, Googlebot y Bingbot para los buscadores clásicos.

Los bots de entrenamiento son otra conversación. Dejarlos entrar puede ayudar a que los modelos «conozcan» tu marca a largo plazo; bloquearlos protege tu contenido de usarse para entrenar. Las dos posturas son válidas, y ninguna te quita de las respuestas de búsqueda.

Ejemplos de robots.txt listos para copiar

Cambia tudominio.com por tu dominio y adapta las rutas privadas a tu sitio.

Opción 1: aparecer en buscadores con IA sin ceder contenido para entrenar

Es la postura que más recomiendo a negocios y creadores que no quieren regalar su contenido pero sí quieren que la IA los cite.

# Bots de búsqueda: pueden leer todo el sitio
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

# Bots de entrenamiento: fuera
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

# Resto de bots
User-agent: *
Disallow: /admin/

Sitemap: https://tudominio.com/sitemap.xml

Fíjate en que los bots de búsqueda tienen su propio grupo. Por la regla del grupo más específico, no heredan el Disallow: /admin/ del grupo general; si quieres que tampoco entren ahí, repítelo dentro de su grupo.

Opción 2: abierto a todos los bots de IA

Si quieres la máxima exposición, también como fuente de entrenamiento, no necesitas reglas especiales: basta con no bloquearlos. Un grupo general sencillo lo cubre:

User-agent: *
Disallow: /admin/

Sitemap: https://tudominio.com/sitemap.xml

Opción 3: fuera de toda la IA

Si tu contenido es de pago o no quieres que la IA lo use de ninguna forma:

User-agent: OAI-SearchBot
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Ten en cuenta que, según sus propias empresas, ChatGPT-User y Perplexity-User pueden no seguir estas reglas cuando un usuario pide una página concreta. Para bloquearlos de verdad necesitas reglas en el servidor o el firewall.

El error que veo más a menudo

User-agent: *
Disallow: /

Esto se pone para «ocultar la web mientras está en construcción» y luego nadie lo quita. Bloquea a todos: Google, Bing y todos los bots de IA. Si tu web ya es pública, revisa que no lo tengas.

No es solo robots.txt: revisa tu CDN

Puedes tener un robots.txt perfecto y aun así estar bloqueando a los bots de IA desde otro sitio:

  • Cloudflare permite bloquear bots de IA desde su panel y gestionar el robots.txt por ti. Si tu dominio está en Cloudflare, revisa la configuración de bots de IA y si tu robots.txt lo está generando Cloudflare.
  • Firewalls y planes anti-bots de tu hosting pueden responder con un error 403 a los bots aunque robots.txt los permita.
  • Contenido que solo se ve con JavaScript: muchos rastreadores de IA no ejecutan JavaScript. Si tu texto se carga solo en el navegador, puede que lo lean vacío. Lo explico más en la guía práctica de GEO y en el análisis de Is It Agent Ready.

Cómo comprobar tu robots.txt

  1. Abre https://tudominio.com/robots.txt en el navegador y busca los nombres de la tabla.
  2. Para cada bot de búsqueda, busca si hay un grupo que lo nombre y si dice Disallow: /.
  3. Si no lo nombra, mira el grupo User-agent: *: es el que le aplica.
  4. Revisa la configuración de bots de tu CDN.
  5. Espera al menos un día tras cualquier cambio: OpenAI, por ejemplo, indica que tarda unas 24 horas en aplicarlo.

Para no hacerlo a mano, prueba el verificador gratuito de robots.txt para IA: le das tu URL y te dice, bot por bot, si lo permites o lo bloqueas.

Que te puedan leer no significa que te citen

Abrir la puerta a los bots de búsqueda es el requisito, no el resultado. Que ChatGPT o Perplexity te recomienden depende de tu contenido, de lo que otros sitios dicen de ti y de medirlo cada mes. Ese plan lo tienes en cómo lograr que ChatGPT y Perplexity recomienden tu marca, y las dudas habituales en preguntas frecuentes sobre GEO.

Si prefieres automatizar esa parte, yo estoy probando BabyLoveGrowth: escribe y publica artículos optimizados para Google y para la IA, consigue enlaces y sigue cada día si ChatGPT, Claude y Gemini te mencionan. Tiene 3 días de prueba gratis y, con el código GROW20, un 20% de descuento. Si quieres compararla con otras opciones, lo hago en las mejores herramientas SEO con IA en 2026.

Enlace de afiliado: si contratas, recibo una comisión sin costo extra para ti.

Fuentes

Guía paso a paso

  1. Abre tu robots.txt

    Visita tudominio.com/robots.txt y copia lo que hay.

  2. Permite los bots de búsqueda

    OAI-SearchBot, Claude-SearchBot y PerplexityBot.

  3. Decide sobre el entrenamiento

    GPTBot, ClaudeBot, Google-Extended y CCBot: tú eliges.

  4. Escribe un grupo por bot

    Un bloque User-agent por bot, con sus propias reglas.

  5. Revisa tu CDN

    Cloudflare y otros pueden bloquear bots de IA por su cuenta.

  6. Comprueba el resultado

    Pasa tu web por un verificador y repite tras cada cambio.

Preguntas frecuentes

¿Si bloqueo GPTBot dejo de aparecer en ChatGPT?

No. Según OpenAI, cada bot se controla por separado: GPTBot recoge contenido para entrenar modelos y OAI-SearchBot es el que decide si apareces en las respuestas de búsqueda de ChatGPT. Puedes bloquear GPTBot y seguir apareciendo si permites OAI-SearchBot.

¿Qué bots de IA debo permitir para aparecer en ChatGPT y Perplexity?

Como mínimo, OAI-SearchBot (búsqueda de ChatGPT) y PerplexityBot (resultados de Perplexity). Si también quieres aparecer en las búsquedas de Claude, permite Claude-SearchBot. Los bots de entrenamiento como GPTBot o ClaudeBot no son necesarios para eso.

¿Los bots de IA respetan el robots.txt?

Los rastreadores automáticos de OpenAI, Anthropic, Perplexity, Google y Common Crawl dicen respetarlo. Los que actúan cuando un usuario pide algo concreto son otra historia: OpenAI avisa de que a ChatGPT-User puede no aplicarle, y Perplexity dice que Perplexity-User en general no lo sigue. Además, robots.txt es una petición, no un candado: un bot malicioso puede ignorarlo.

¿Bloquear Google-Extended me quita de Google?

No. Google indica que Google-Extended no afecta a la inclusión ni al ranking en la Búsqueda de Google. Solo controla si tu contenido se usa para entrenar los modelos Gemini y para el grounding de Gemini Apps y Vertex AI.

¿Cuánto tarda en aplicarse un cambio en robots.txt?

Depende de cada empresa. OpenAI, por ejemplo, indica que sus sistemas pueden tardar unas 24 horas en ajustarse a un cambio en robots.txt para la búsqueda. Si cambias algo, espera al menos un día antes de sacar conclusiones.

Posts Relacionados

Continúa explorando contenido similar que te puede interesar

Alianzas

Herramientas que uso a diario y con las que la comunidad consigue mejores condiciones.

Enlaces de afiliado. El precio para ti no cambia.Ver todas las alianzas
Programa de formación

¿Listo para transformar tu idea en un proyecto real?

Transforma es el programa donde aprenderás a crear, ejecutar y escalar tu proyecto con claridad y método.

Conocer el Programa Transforma