
robots.txt y bots de IA: GPTBot, OAI-SearchBot y PerplexityBot
Publicado el:
Tiempo de lectura: 9 min
Tema: Tecnologia
Autor: Leandro Valencia
Qué bots de IA permitir en tu robots.txt para aparecer en ChatGPT y Perplexity: GPTBot, OAI-SearchBot, PerplexityBot y más, con ejemplos para copiar.
Tabla de Contenidos
- Lo que necesitas saber en 30 segundos
- Qué es robots.txt y cómo lo leen los bots
- Los bots de IA que importan en 2026
- Qué permitir para aparecer en ChatGPT y Perplexity
- No es solo robots.txt: revisa tu CDN
- Cómo comprobar tu robots.txt
- Que te puedan leer no significa que te citen
- Fuentes
Tu robots.txt decide qué bots pueden leer tu web. Durante años eso significaba Googlebot y Bingbot. Hoy hay una docena de bots de IA con nombres parecidos —GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot— y cada uno hace una cosa distinta.
El error más común no es técnico, es de concepto: bloquear a todos los bots de IA «por si acaso» y desaparecer de ChatGPT y Perplexity sin saberlo, o al revés, creer que hay que abrir la puerta a todos para que la IA te cite. Ni lo uno ni lo otro.
En esta guía tienes qué hace cada bot según su propia documentación, qué permitir para aparecer en los buscadores con IA y ejemplos de robots.txt listos para copiar.
Lo que necesitas saber en 30 segundos
- Hay bots de búsqueda o citación (OAI-SearchBot, Claude-SearchBot, PerplexityBot): deciden si apareces en las respuestas. Si los bloqueas, desapareces.
- Hay bots de entrenamiento (GPTBot, ClaudeBot, Google-Extended, CCBot): recogen contenido para entrenar modelos. Bloquearlos es una decisión legítima y no te quita de las respuestas de búsqueda.
- Hay bots que actúan cuando un usuario lo pide (ChatGPT-User, Claude-User, Perplexity-User): visitan una página porque alguien pegó tu enlace o preguntó por ella.
- Cada bot se controla por separado. Bloquear GPTBot no te saca de la búsqueda de ChatGPT.
Qué es robots.txt y cómo lo leen los bots
robots.txt es un archivo de texto en la raíz de tu dominio (https://tudominio.com/robots.txt) que dice a cada rastreador qué rutas puede visitar. Está estandarizado en el RFC 9309 y funciona por grupos: cada grupo empieza con una o más líneas User-agent y sigue con reglas Allow y Disallow.
Tres reglas que explican la mayoría de los errores:
- Un bot obedece solo al grupo más específico que lo nombra. Si tienes un grupo
User-agent: GPTBot, GPTBot ignora por completo el grupoUser-agent: *. Si quieres que también respete las reglas generales, tienes que repetirlas en su grupo. - Si no hay ninguna regla para un bot, puede entrar. Un
robots.txtvacío o inexistente permite todo. - Gana la regla más específica. Entre
Disallow: /blog/yAllow: /blog/guia/, para/blog/guia/gana elAllowporque la ruta es más larga.
Y una advertencia: robots.txt es una petición, no una medida de seguridad. Los bots de las grandes empresas dicen respetarlo; un scraper malicioso puede ignorarlo. Si algo no debe ser público, protégelo con contraseña.
Los bots de IA que importan en 2026
Esta tabla resume lo que dice la documentación oficial de cada empresa en noviembre de 2026.
| Bot | Empresa | Para qué sirve | Si lo bloqueas | ¿Respeta robots.txt? |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | Mostrar webs en la búsqueda de ChatGPT | No apareces en las respuestas de búsqueda (sí puedes salir como enlace de navegación) | Sí |
| GPTBot | OpenAI | Recoger contenido para entrenar modelos | Tu contenido no se usa para entrenar | Sí |
| ChatGPT-User | OpenAI | Visitas que pide un usuario en ChatGPT o en un GPT | OpenAI avisa de que robots.txt puede no aplicarse | No siempre |
| Claude-SearchBot | Anthropic | Mejorar los resultados de búsqueda de Claude | Puede reducir tu visibilidad en las búsquedas de Claude | Sí |
| ClaudeBot | Anthropic | Recoger contenido que puede usarse para entrenar | Tu contenido futuro queda fuera del entrenamiento | Sí |
| Claude-User | Anthropic | Visitas que pide un usuario de Claude | Puede reducir tu visibilidad en búsquedas dirigidas por el usuario | Sí |
| PerplexityBot | Perplexity | Mostrar y enlazar webs en los resultados de Perplexity | No apareces en los resultados de Perplexity | Perplexity recomienda permitirlo en robots.txt |
| Perplexity-User | Perplexity | Visitas que pide un usuario en Perplexity | Perplexity dice que este bot en general ignora robots.txt | En general, no |
| Google-Extended | Controla el uso para entrenar Gemini y para grounding | No afecta a tu inclusión ni ranking en Google Search | Sí (es un token, no un bot aparte) | |
| CCBot | Common Crawl | Rastreo para un conjunto de datos abierto, muy usado para entrenar modelos | Tu contenido sale de futuros rastreos de Common Crawl | Common Crawl indica bloquearlo con robots.txt |
Dos detalles que suelen confundir:
- PerplexityBot no se usa para entrenar modelos, según Perplexity. Es un bot de búsqueda: bloquearlo te quita de sus resultados.
- Google-Extended no es un rastreador. Google rastrea con sus bots de siempre;
Google-Extendedes solo un nombre que pones enrobots.txtpara decir si ese contenido puede usarse para Gemini. Bloquearlo no te saca de la Búsqueda de Google.
Qué permitir para aparecer en ChatGPT y Perplexity
Si tu objetivo es que los buscadores con IA te encuentren y te citen, lo imprescindible es no bloquear a los bots de búsqueda:
OAI-SearchBotpara la búsqueda de ChatGPT.PerplexityBotpara Perplexity.Claude-SearchBotpara las búsquedas de Claude.- Y, por supuesto,
GooglebotyBingbotpara los buscadores clásicos.
Los bots de entrenamiento son otra conversación. Dejarlos entrar puede ayudar a que los modelos «conozcan» tu marca a largo plazo; bloquearlos protege tu contenido de usarse para entrenar. Las dos posturas son válidas, y ninguna te quita de las respuestas de búsqueda.
Ejemplos de robots.txt listos para copiar
Cambia tudominio.com por tu dominio y adapta las rutas privadas a tu sitio.
Opción 1: aparecer en buscadores con IA sin ceder contenido para entrenar
Es la postura que más recomiendo a negocios y creadores que no quieren regalar su contenido pero sí quieren que la IA los cite.
# Bots de búsqueda: pueden leer todo el sitio
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
# Bots de entrenamiento: fuera
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /
# Resto de bots
User-agent: *
Disallow: /admin/
Sitemap: https://tudominio.com/sitemap.xml
Fíjate en que los bots de búsqueda tienen su propio grupo. Por la regla del grupo más específico, no heredan el Disallow: /admin/ del grupo general; si quieres que tampoco entren ahí, repítelo dentro de su grupo.
Opción 2: abierto a todos los bots de IA
Si quieres la máxima exposición, también como fuente de entrenamiento, no necesitas reglas especiales: basta con no bloquearlos. Un grupo general sencillo lo cubre:
User-agent: *
Disallow: /admin/
Sitemap: https://tudominio.com/sitemap.xml
Opción 3: fuera de toda la IA
Si tu contenido es de pago o no quieres que la IA lo use de ninguna forma:
User-agent: OAI-SearchBot
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: CCBot
Disallow: /
Ten en cuenta que, según sus propias empresas, ChatGPT-User y Perplexity-User pueden no seguir estas reglas cuando un usuario pide una página concreta. Para bloquearlos de verdad necesitas reglas en el servidor o el firewall.
El error que veo más a menudo
User-agent: *
Disallow: /
Esto se pone para «ocultar la web mientras está en construcción» y luego nadie lo quita. Bloquea a todos: Google, Bing y todos los bots de IA. Si tu web ya es pública, revisa que no lo tengas.
No es solo robots.txt: revisa tu CDN
Puedes tener un robots.txt perfecto y aun así estar bloqueando a los bots de IA desde otro sitio:
- Cloudflare permite bloquear bots de IA desde su panel y gestionar el
robots.txtpor ti. Si tu dominio está en Cloudflare, revisa la configuración de bots de IA y si turobots.txtlo está generando Cloudflare. - Firewalls y planes anti-bots de tu hosting pueden responder con un error 403 a los bots aunque
robots.txtlos permita. - Contenido que solo se ve con JavaScript: muchos rastreadores de IA no ejecutan JavaScript. Si tu texto se carga solo en el navegador, puede que lo lean vacío. Lo explico más en la guía práctica de GEO y en el análisis de Is It Agent Ready.
Cómo comprobar tu robots.txt
- Abre
https://tudominio.com/robots.txten el navegador y busca los nombres de la tabla. - Para cada bot de búsqueda, busca si hay un grupo que lo nombre y si dice
Disallow: /. - Si no lo nombra, mira el grupo
User-agent: *: es el que le aplica. - Revisa la configuración de bots de tu CDN.
- Espera al menos un día tras cualquier cambio: OpenAI, por ejemplo, indica que tarda unas 24 horas en aplicarlo.
Para no hacerlo a mano, prueba el verificador gratuito de robots.txt para IA: le das tu URL y te dice, bot por bot, si lo permites o lo bloqueas.
Que te puedan leer no significa que te citen
Abrir la puerta a los bots de búsqueda es el requisito, no el resultado. Que ChatGPT o Perplexity te recomienden depende de tu contenido, de lo que otros sitios dicen de ti y de medirlo cada mes. Ese plan lo tienes en cómo lograr que ChatGPT y Perplexity recomienden tu marca, y las dudas habituales en preguntas frecuentes sobre GEO.
Si prefieres automatizar esa parte, yo estoy probando BabyLoveGrowth: escribe y publica artículos optimizados para Google y para la IA, consigue enlaces y sigue cada día si ChatGPT, Claude y Gemini te mencionan. Tiene 3 días de prueba gratis y, con el código GROW20, un 20% de descuento. Si quieres compararla con otras opciones, lo hago en las mejores herramientas SEO con IA en 2026.
Enlace de afiliado: si contratas, recibo una comisión sin costo extra para ti.
Fuentes
Guía paso a paso
Abre tu robots.txt
Visita tudominio.com/robots.txt y copia lo que hay.
Permite los bots de búsqueda
OAI-SearchBot, Claude-SearchBot y PerplexityBot.
Decide sobre el entrenamiento
GPTBot, ClaudeBot, Google-Extended y CCBot: tú eliges.
Escribe un grupo por bot
Un bloque User-agent por bot, con sus propias reglas.
Revisa tu CDN
Cloudflare y otros pueden bloquear bots de IA por su cuenta.
Comprueba el resultado
Pasa tu web por un verificador y repite tras cada cambio.
Preguntas frecuentes
¿Si bloqueo GPTBot dejo de aparecer en ChatGPT?
No. Según OpenAI, cada bot se controla por separado: GPTBot recoge contenido para entrenar modelos y OAI-SearchBot es el que decide si apareces en las respuestas de búsqueda de ChatGPT. Puedes bloquear GPTBot y seguir apareciendo si permites OAI-SearchBot.
¿Qué bots de IA debo permitir para aparecer en ChatGPT y Perplexity?
Como mínimo, OAI-SearchBot (búsqueda de ChatGPT) y PerplexityBot (resultados de Perplexity). Si también quieres aparecer en las búsquedas de Claude, permite Claude-SearchBot. Los bots de entrenamiento como GPTBot o ClaudeBot no son necesarios para eso.
¿Los bots de IA respetan el robots.txt?
Los rastreadores automáticos de OpenAI, Anthropic, Perplexity, Google y Common Crawl dicen respetarlo. Los que actúan cuando un usuario pide algo concreto son otra historia: OpenAI avisa de que a ChatGPT-User puede no aplicarle, y Perplexity dice que Perplexity-User en general no lo sigue. Además, robots.txt es una petición, no un candado: un bot malicioso puede ignorarlo.
¿Bloquear Google-Extended me quita de Google?
No. Google indica que Google-Extended no afecta a la inclusión ni al ranking en la Búsqueda de Google. Solo controla si tu contenido se usa para entrenar los modelos Gemini y para el grounding de Gemini Apps y Vertex AI.
¿Cuánto tarda en aplicarse un cambio en robots.txt?
Depende de cada empresa. OpenAI, por ejemplo, indica que sus sistemas pueden tardar unas 24 horas en ajustarse a un cambio en robots.txt para la búsqueda. Si cambias algo, espera al menos un día antes de sacar conclusiones.
Posts Relacionados
Continúa explorando contenido similar que te puede interesar

Tu web no está lista para los agentes de IA (y así lo compruebas en 30 segundos)
Los agentes de IA ya son visitantes reales de tu web y la mayoría de sitios los ignora. Aprende a escanear tu dominio con isitagentready.com, convertir el reporte en un spec de mejora accionable con un prompt listo para copiar, y ejecutarlo sin romper nada usando el brainstorming de Superpowers.

Vercel Analytics vs Umami (y 6 alternativas): límites gratis en 2026
Comparamos los límites gratis de Vercel Analytics, Umami, Cloudflare, PostHog, GoatCounter, Plausible y Fathom en 2026 para elegir la analítica de tu web.

Costo real de las APIs de IA en 2026: caché y routing de modelos
Cuánto cuesta de verdad una tarea con Claude, GPT, Gemini o DeepSeek: precios por millón de tokens, la fórmula con caché y el routing de modelos.
Alianzas
Herramientas que uso a diario y con las que la comunidad consigue mejores condiciones.