
robots.txt e bots de IA: GPTBot, OAI-SearchBot e PerplexityBot
Publicado em:
Tempo de leitura: 9 min
Tema: Tecnologia
Autor: Leandro Valencia
Quais bots de IA liberar no seu robots.txt para aparecer no ChatGPT e no Perplexity: GPTBot, OAI-SearchBot, PerplexityBot e outros, com exemplos para copiar.
Índice
- O que você precisa saber em 30 segundos
- O que é robots.txt e como os bots o leem
- Os bots de IA que importam em 2026
- O que liberar para aparecer no ChatGPT e no Perplexity
- Não é só o robots.txt: revise a sua CDN
- Como verificar o seu robots.txt
- Poder ler você não significa citar você
- Fontes
O seu robots.txt decide quais bots podem ler o seu site. Durante anos isso significava Googlebot e Bingbot. Hoje há uma dúzia de bots de IA com nomes parecidos — GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot — e cada um faz uma coisa diferente.
O erro mais comum não é técnico, é de conceito: bloquear todos os bots de IA «por via das dúvidas» e sumir do ChatGPT e do Perplexity sem saber, ou o contrário, achar que é preciso abrir a porta para todos para a IA citar você. Nem uma coisa nem outra.
Neste guia você vê o que cada bot faz segundo a própria documentação, o que liberar para aparecer nos buscadores com IA e exemplos de robots.txt prontos para copiar.
O que você precisa saber em 30 segundos
- Há bots de busca ou citação (OAI-SearchBot, Claude-SearchBot, PerplexityBot): decidem se você aparece nas respostas. Se bloquear, você some.
- Há bots de treinamento (GPTBot, ClaudeBot, Google-Extended, CCBot): coletam conteúdo para treinar modelos. Bloqueá-los é uma decisão legítima e não tira você das respostas de busca.
- Há bots que agem quando um usuário pede (ChatGPT-User, Claude-User, Perplexity-User): visitam uma página porque alguém colou o seu link ou perguntou por ela.
- Cada bot é controlado separadamente. Bloquear o GPTBot não tira você da busca do ChatGPT.
O que é robots.txt e como os bots o leem
O robots.txt é um arquivo de texto na raiz do seu domínio (https://seudominio.com/robots.txt) que diz a cada rastreador quais caminhos ele pode visitar. É padronizado na RFC 9309 e funciona por grupos: cada grupo começa com uma ou mais linhas User-agent e segue com regras Allow e Disallow.
Três regras explicam a maioria dos erros:
- Um bot obedece só ao grupo mais específico que o nomeia. Se você tem um grupo
User-agent: GPTBot, o GPTBot ignora completamente o grupoUser-agent: *. Se quiser que ele também respeite as regras gerais, repita-as no grupo dele. - Se não há nenhuma regra para um bot, ele pode entrar. Um
robots.txtvazio ou inexistente libera tudo. - Vence a regra mais específica. Entre
Disallow: /blog/eAllow: /blog/guia/, para/blog/guia/vence oAllow, porque o caminho é mais longo.
E um aviso: robots.txt é um pedido, não uma medida de segurança. Os bots das grandes empresas dizem respeitá-lo; um scraper mal-intencionado pode ignorá-lo. Se algo não deve ser público, proteja com senha.
Os bots de IA que importam em 2026
Esta tabela resume o que diz a documentação oficial de cada empresa em novembro de 2026.
| Bot | Empresa | Para que serve | Se você bloquear | Respeita robots.txt? |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | Mostrar sites na busca do ChatGPT | Você não aparece nas respostas de busca (pode sair como link de navegação) | Sim |
| GPTBot | OpenAI | Coletar conteúdo para treinar modelos | O seu conteúdo não é usado para treinamento | Sim |
| ChatGPT-User | OpenAI | Visitas pedidas por um usuário no ChatGPT ou num GPT | A OpenAI avisa que o robots.txt pode não se aplicar | Nem sempre |
| Claude-SearchBot | Anthropic | Melhorar os resultados de busca do Claude | Pode reduzir a sua visibilidade nas buscas do Claude | Sim |
| ClaudeBot | Anthropic | Coletar conteúdo que pode ser usado para treinamento | O seu conteúdo futuro fica fora do treinamento | Sim |
| Claude-User | Anthropic | Visitas pedidas por um usuário do Claude | Pode reduzir a sua visibilidade em buscas feitas pelo usuário | Sim |
| PerplexityBot | Perplexity | Mostrar e linkar sites nos resultados do Perplexity | Você não aparece nos resultados do Perplexity | A Perplexity recomenda liberá-lo no robots.txt |
| Perplexity-User | Perplexity | Visitas pedidas por um usuário no Perplexity | A Perplexity diz que este bot em geral ignora o robots.txt | Em geral, não |
| Google-Extended | Controla o uso para treinar o Gemini e para grounding | Não afeta a sua inclusão nem o ranking na Pesquisa Google | Sim (é um token, não um bot separado) | |
| CCBot | Common Crawl | Rastreamento para um conjunto de dados aberto, muito usado para treinar modelos | O seu conteúdo sai dos próximos rastreamentos do Common Crawl | O Common Crawl indica bloqueá-lo pelo robots.txt |
Dois detalhes que costumam confundir:
- O PerplexityBot não é usado para treinar modelos, segundo a Perplexity. É um bot de busca: bloqueá-lo tira você dos resultados.
- O Google-Extended não é um rastreador. O Google rastreia com os bots de sempre;
Google-Extendedé só um nome que você coloca norobots.txtpara dizer se aquele conteúdo pode ser usado para o Gemini. Bloqueá-lo não tira você da Pesquisa Google.
O que liberar para aparecer no ChatGPT e no Perplexity
Se o seu objetivo é que os buscadores com IA encontrem e citem você, o essencial é não bloquear os bots de busca:
OAI-SearchBotpara a busca do ChatGPT.PerplexityBotpara o Perplexity.Claude-SearchBotpara as buscas do Claude.- E, claro,
GoogleboteBingbotpara os buscadores clássicos.
Os bots de treinamento são outra conversa. Deixá-los entrar pode ajudar os modelos a «conhecer» a sua marca no longo prazo; bloqueá-los protege o seu conteúdo de ser usado em treinamento. As duas posturas são válidas, e nenhuma tira você das respostas de busca.
Exemplos de robots.txt prontos para copiar
Troque seudominio.com pelo seu domínio e adapte os caminhos privados ao seu site.
Opção 1: aparecer nos buscadores com IA sem ceder conteúdo para treinamento
É a postura que mais recomendo a negócios e criadores que não querem entregar o próprio conteúdo, mas querem ser citados pela IA.
# Bots de busca: podem ler o site todo
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
# Bots de treinamento: fora
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /
# Demais bots
User-agent: *
Disallow: /admin/
Sitemap: https://seudominio.com/sitemap.xml
Repare que os bots de busca têm um grupo próprio. Pela regra do grupo mais específico, eles não herdam o Disallow: /admin/ do grupo geral; se também não quiser que entrem ali, repita a regra no grupo deles.
Opção 2: aberto a todos os bots de IA
Se você quer a máxima exposição, inclusive como fonte de treinamento, não precisa de regras especiais: basta não bloqueá-los. Um grupo geral simples resolve:
User-agent: *
Disallow: /admin/
Sitemap: https://seudominio.com/sitemap.xml
Opção 3: fora de toda a IA
Se o seu conteúdo é pago ou você não quer que a IA o use de jeito nenhum:
User-agent: OAI-SearchBot
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: CCBot
Disallow: /
Lembre que, segundo as próprias empresas, o ChatGPT-User e o Perplexity-User podem não seguir essas regras quando um usuário pede uma página específica. Para bloqueá-los de verdade, você precisa de regras no servidor ou no firewall.
O erro que mais vejo
User-agent: *
Disallow: /
Isso é colocado para «esconder o site enquanto está em construção» e depois ninguém tira. Bloqueia todo mundo: Google, Bing e todos os bots de IA. Se o seu site já é público, confira se não tem isso.
Não é só o robots.txt: revise a sua CDN
Você pode ter um robots.txt perfeito e ainda assim estar bloqueando os bots de IA por outro caminho:
- A Cloudflare permite bloquear bots de IA pelo painel e gerenciar o
robots.txtpor você. Se o seu domínio está na Cloudflare, revise a configuração de bots de IA e veja se o seurobots.txtestá sendo gerado por ela. - Firewalls e planos anti-bot da sua hospedagem podem responder com erro 403 aos bots mesmo que o
robots.txtos libere. - Conteúdo que só aparece com JavaScript: muitos rastreadores de IA não executam JavaScript. Se o seu texto carrega só no navegador, eles podem lê-lo vazio. Explico mais no guia prático de GEO e na análise do Is It Agent Ready.
Como verificar o seu robots.txt
- Abra
https://seudominio.com/robots.txtno navegador e procure os nomes da tabela. - Para cada bot de busca, veja se há um grupo que o nomeia e se ele diz
Disallow: /. - Se não o nomeia, olhe o grupo
User-agent: *: é o que vale para ele. - Revise a configuração de bots da sua CDN.
- Espere pelo menos um dia depois de qualquer mudança: a OpenAI, por exemplo, informa que leva cerca de 24 horas para aplicá-la.
Para não fazer isso à mão, use o verificador gratuito de robots.txt para IA: você informa a URL e ele mostra, bot por bot, se você libera ou bloqueia.
Poder ler você não significa citar você
Abrir a porta para os bots de busca é o requisito, não o resultado. O ChatGPT ou o Perplexity recomendarem você depende do seu conteúdo, do que outros sites dizem sobre você e de medir isso todo mês. Esse plano está em como fazer o ChatGPT e o Perplexity recomendarem a sua marca, e as dúvidas comuns em perguntas frequentes sobre GEO.
Se preferir automatizar essa parte, eu estou testando o BabyLoveGrowth: ele escreve e publica artigos otimizados para o Google e para a IA, consegue links e acompanha todo dia se o ChatGPT, o Claude e o Gemini mencionam você. São 3 dias de teste grátis e, com o código GROW20, 20% de desconto. Se quiser comparar com outras opções, faço isso em as melhores ferramentas de SEO com IA em 2026.
Link de afiliado: se você contratar, recebo uma comissão sem custo extra para você.
Fontes
Step-by-step guide
Abra o seu robots.txt
Acesse seudominio.com/robots.txt e copie o conteúdo.
Libere os bots de busca
OAI-SearchBot, Claude-SearchBot e PerplexityBot.
Decida sobre o treinamento
GPTBot, ClaudeBot, Google-Extended e CCBot: você escolhe.
Escreva um grupo por bot
Um bloco User-agent por bot, com as próprias regras.
Revise a sua CDN
Cloudflare e outras podem bloquear bots de IA por conta própria.
Confira o resultado
Passe o site por um verificador e repita a cada mudança.
Frequently asked questions
Se eu bloquear o GPTBot, deixo de aparecer no ChatGPT?
Não. Segundo a OpenAI, cada bot é controlado separadamente: o GPTBot coleta conteúdo para treinar modelos e o OAI-SearchBot é quem decide se você aparece nas respostas de busca do ChatGPT. Você pode bloquear o GPTBot e continuar aparecendo se liberar o OAI-SearchBot.
Quais bots de IA devo liberar para aparecer no ChatGPT e no Perplexity?
No mínimo, o OAI-SearchBot (busca do ChatGPT) e o PerplexityBot (resultados do Perplexity). Se também quiser aparecer nas buscas do Claude, libere o Claude-SearchBot. Bots de treinamento como GPTBot ou ClaudeBot não são necessários para isso.
Os bots de IA respeitam o robots.txt?
Os rastreadores automáticos da OpenAI, Anthropic, Perplexity, Google e Common Crawl dizem respeitar. Os que agem quando um usuário pede algo específico são outra história: a OpenAI avisa que o robots.txt pode não se aplicar ao ChatGPT-User, e a Perplexity diz que o Perplexity-User em geral não o segue. Além disso, robots.txt é um pedido, não uma fechadura: um bot mal-intencionado pode ignorá-lo.
Bloquear o Google-Extended me tira do Google?
Não. O Google informa que o Google-Extended não afeta a inclusão nem o ranking na Pesquisa Google. Ele só controla se o seu conteúdo é usado para treinar os modelos Gemini e para o grounding do Gemini Apps e da Vertex AI.
Quanto tempo leva para uma mudança no robots.txt valer?
Depende de cada empresa. A OpenAI, por exemplo, informa que os sistemas dela podem levar cerca de 24 horas para se ajustar a uma mudança no robots.txt para a busca. Se mudar algo, espere pelo menos um dia antes de tirar conclusões.
Posts Relacionados
Continue explorando conteúdo similar que pode te interessar

Seu site não está pronto para os agentes de IA (e assim você comprova isso em 30 segundos)
Os agentes de IA já são visitantes reais do seu site e a maioria dos sites os ignora. Aprenda a escanear seu domínio com isitagentready.com, transformar o relatório em um spec de melhoria acionável com um prompt pronto para copiar, e executá-lo sem quebrar nada usando o brainstorming do Superpowers.

Vercel Analytics vs Umami (e 6 alternativas): limites grátis 2026
Comparamos os limites grátis de Vercel Analytics, Umami, Cloudflare, PostHog, GoatCounter, Plausible e Fathom em 2026 para escolher a analítica do seu site.

Custo real das APIs de IA em 2026: cache e roteamento de modelos
Quanto custa de verdade uma tarefa com Claude, GPT, Gemini ou DeepSeek: preços por milhão de tokens, a fórmula com cache e o roteamento de modelos.
Alianças
Ferramentas que uso todos os dias, com melhores condições para a comunidade.