Imagem em destaque para robots.txt e bots de IA: GPTBot, OAI-SearchBot e PerplexityBot

robots.txt e bots de IA: GPTBot, OAI-SearchBot e PerplexityBot

Publicado em:

Tempo de leitura: 9 min

Tema: Tecnologia

Autor: Leandro Valencia

#robots txt#gptbot#oai searchbot#perplexitybot#bots de ia#claudebot#google-extended#geo#seo técnico

Quais bots de IA liberar no seu robots.txt para aparecer no ChatGPT e no Perplexity: GPTBot, OAI-SearchBot, PerplexityBot e outros, com exemplos para copiar.

Índice

O seu robots.txt decide quais bots podem ler o seu site. Durante anos isso significava Googlebot e Bingbot. Hoje há uma dúzia de bots de IA com nomes parecidos — GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot — e cada um faz uma coisa diferente.

O erro mais comum não é técnico, é de conceito: bloquear todos os bots de IA «por via das dúvidas» e sumir do ChatGPT e do Perplexity sem saber, ou o contrário, achar que é preciso abrir a porta para todos para a IA citar você. Nem uma coisa nem outra.

Neste guia você vê o que cada bot faz segundo a própria documentação, o que liberar para aparecer nos buscadores com IA e exemplos de robots.txt prontos para copiar.

O que você precisa saber em 30 segundos

  • Há bots de busca ou citação (OAI-SearchBot, Claude-SearchBot, PerplexityBot): decidem se você aparece nas respostas. Se bloquear, você some.
  • Há bots de treinamento (GPTBot, ClaudeBot, Google-Extended, CCBot): coletam conteúdo para treinar modelos. Bloqueá-los é uma decisão legítima e não tira você das respostas de busca.
  • Há bots que agem quando um usuário pede (ChatGPT-User, Claude-User, Perplexity-User): visitam uma página porque alguém colou o seu link ou perguntou por ela.
  • Cada bot é controlado separadamente. Bloquear o GPTBot não tira você da busca do ChatGPT.

O que é robots.txt e como os bots o leem

O robots.txt é um arquivo de texto na raiz do seu domínio (https://seudominio.com/robots.txt) que diz a cada rastreador quais caminhos ele pode visitar. É padronizado na RFC 9309 e funciona por grupos: cada grupo começa com uma ou mais linhas User-agent e segue com regras Allow e Disallow.

Três regras explicam a maioria dos erros:

  1. Um bot obedece só ao grupo mais específico que o nomeia. Se você tem um grupo User-agent: GPTBot, o GPTBot ignora completamente o grupo User-agent: *. Se quiser que ele também respeite as regras gerais, repita-as no grupo dele.
  2. Se não há nenhuma regra para um bot, ele pode entrar. Um robots.txt vazio ou inexistente libera tudo.
  3. Vence a regra mais específica. Entre Disallow: /blog/ e Allow: /blog/guia/, para /blog/guia/ vence o Allow, porque o caminho é mais longo.

E um aviso: robots.txt é um pedido, não uma medida de segurança. Os bots das grandes empresas dizem respeitá-lo; um scraper mal-intencionado pode ignorá-lo. Se algo não deve ser público, proteja com senha.

Os bots de IA que importam em 2026

Esta tabela resume o que diz a documentação oficial de cada empresa em novembro de 2026.

Bot Empresa Para que serve Se você bloquear Respeita robots.txt?
OAI-SearchBot OpenAI Mostrar sites na busca do ChatGPT Você não aparece nas respostas de busca (pode sair como link de navegação) Sim
GPTBot OpenAI Coletar conteúdo para treinar modelos O seu conteúdo não é usado para treinamento Sim
ChatGPT-User OpenAI Visitas pedidas por um usuário no ChatGPT ou num GPT A OpenAI avisa que o robots.txt pode não se aplicar Nem sempre
Claude-SearchBot Anthropic Melhorar os resultados de busca do Claude Pode reduzir a sua visibilidade nas buscas do Claude Sim
ClaudeBot Anthropic Coletar conteúdo que pode ser usado para treinamento O seu conteúdo futuro fica fora do treinamento Sim
Claude-User Anthropic Visitas pedidas por um usuário do Claude Pode reduzir a sua visibilidade em buscas feitas pelo usuário Sim
PerplexityBot Perplexity Mostrar e linkar sites nos resultados do Perplexity Você não aparece nos resultados do Perplexity A Perplexity recomenda liberá-lo no robots.txt
Perplexity-User Perplexity Visitas pedidas por um usuário no Perplexity A Perplexity diz que este bot em geral ignora o robots.txt Em geral, não
Google-Extended Google Controla o uso para treinar o Gemini e para grounding Não afeta a sua inclusão nem o ranking na Pesquisa Google Sim (é um token, não um bot separado)
CCBot Common Crawl Rastreamento para um conjunto de dados aberto, muito usado para treinar modelos O seu conteúdo sai dos próximos rastreamentos do Common Crawl O Common Crawl indica bloqueá-lo pelo robots.txt

Dois detalhes que costumam confundir:

  • O PerplexityBot não é usado para treinar modelos, segundo a Perplexity. É um bot de busca: bloqueá-lo tira você dos resultados.
  • O Google-Extended não é um rastreador. O Google rastreia com os bots de sempre; Google-Extended é só um nome que você coloca no robots.txt para dizer se aquele conteúdo pode ser usado para o Gemini. Bloqueá-lo não tira você da Pesquisa Google.

O que liberar para aparecer no ChatGPT e no Perplexity

Se o seu objetivo é que os buscadores com IA encontrem e citem você, o essencial é não bloquear os bots de busca:

  • OAI-SearchBot para a busca do ChatGPT.
  • PerplexityBot para o Perplexity.
  • Claude-SearchBot para as buscas do Claude.
  • E, claro, Googlebot e Bingbot para os buscadores clássicos.

Os bots de treinamento são outra conversa. Deixá-los entrar pode ajudar os modelos a «conhecer» a sua marca no longo prazo; bloqueá-los protege o seu conteúdo de ser usado em treinamento. As duas posturas são válidas, e nenhuma tira você das respostas de busca.

Exemplos de robots.txt prontos para copiar

Troque seudominio.com pelo seu domínio e adapte os caminhos privados ao seu site.

Opção 1: aparecer nos buscadores com IA sem ceder conteúdo para treinamento

É a postura que mais recomendo a negócios e criadores que não querem entregar o próprio conteúdo, mas querem ser citados pela IA.

# Bots de busca: podem ler o site todo
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

# Bots de treinamento: fora
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

# Demais bots
User-agent: *
Disallow: /admin/

Sitemap: https://seudominio.com/sitemap.xml

Repare que os bots de busca têm um grupo próprio. Pela regra do grupo mais específico, eles não herdam o Disallow: /admin/ do grupo geral; se também não quiser que entrem ali, repita a regra no grupo deles.

Opção 2: aberto a todos os bots de IA

Se você quer a máxima exposição, inclusive como fonte de treinamento, não precisa de regras especiais: basta não bloqueá-los. Um grupo geral simples resolve:

User-agent: *
Disallow: /admin/

Sitemap: https://seudominio.com/sitemap.xml

Opção 3: fora de toda a IA

Se o seu conteúdo é pago ou você não quer que a IA o use de jeito nenhum:

User-agent: OAI-SearchBot
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Lembre que, segundo as próprias empresas, o ChatGPT-User e o Perplexity-User podem não seguir essas regras quando um usuário pede uma página específica. Para bloqueá-los de verdade, você precisa de regras no servidor ou no firewall.

O erro que mais vejo

User-agent: *
Disallow: /

Isso é colocado para «esconder o site enquanto está em construção» e depois ninguém tira. Bloqueia todo mundo: Google, Bing e todos os bots de IA. Se o seu site já é público, confira se não tem isso.

Não é só o robots.txt: revise a sua CDN

Você pode ter um robots.txt perfeito e ainda assim estar bloqueando os bots de IA por outro caminho:

  • A Cloudflare permite bloquear bots de IA pelo painel e gerenciar o robots.txt por você. Se o seu domínio está na Cloudflare, revise a configuração de bots de IA e veja se o seu robots.txt está sendo gerado por ela.
  • Firewalls e planos anti-bot da sua hospedagem podem responder com erro 403 aos bots mesmo que o robots.txt os libere.
  • Conteúdo que só aparece com JavaScript: muitos rastreadores de IA não executam JavaScript. Se o seu texto carrega só no navegador, eles podem lê-lo vazio. Explico mais no guia prático de GEO e na análise do Is It Agent Ready.

Como verificar o seu robots.txt

  1. Abra https://seudominio.com/robots.txt no navegador e procure os nomes da tabela.
  2. Para cada bot de busca, veja se há um grupo que o nomeia e se ele diz Disallow: /.
  3. Se não o nomeia, olhe o grupo User-agent: *: é o que vale para ele.
  4. Revise a configuração de bots da sua CDN.
  5. Espere pelo menos um dia depois de qualquer mudança: a OpenAI, por exemplo, informa que leva cerca de 24 horas para aplicá-la.

Para não fazer isso à mão, use o verificador gratuito de robots.txt para IA: você informa a URL e ele mostra, bot por bot, se você libera ou bloqueia.

Poder ler você não significa citar você

Abrir a porta para os bots de busca é o requisito, não o resultado. O ChatGPT ou o Perplexity recomendarem você depende do seu conteúdo, do que outros sites dizem sobre você e de medir isso todo mês. Esse plano está em como fazer o ChatGPT e o Perplexity recomendarem a sua marca, e as dúvidas comuns em perguntas frequentes sobre GEO.

Se preferir automatizar essa parte, eu estou testando o BabyLoveGrowth: ele escreve e publica artigos otimizados para o Google e para a IA, consegue links e acompanha todo dia se o ChatGPT, o Claude e o Gemini mencionam você. São 3 dias de teste grátis e, com o código GROW20, 20% de desconto. Se quiser comparar com outras opções, faço isso em as melhores ferramentas de SEO com IA em 2026.

Link de afiliado: se você contratar, recebo uma comissão sem custo extra para você.

Fontes

Step-by-step guide

  1. Abra o seu robots.txt

    Acesse seudominio.com/robots.txt e copie o conteúdo.

  2. Libere os bots de busca

    OAI-SearchBot, Claude-SearchBot e PerplexityBot.

  3. Decida sobre o treinamento

    GPTBot, ClaudeBot, Google-Extended e CCBot: você escolhe.

  4. Escreva um grupo por bot

    Um bloco User-agent por bot, com as próprias regras.

  5. Revise a sua CDN

    Cloudflare e outras podem bloquear bots de IA por conta própria.

  6. Confira o resultado

    Passe o site por um verificador e repita a cada mudança.

Frequently asked questions

Se eu bloquear o GPTBot, deixo de aparecer no ChatGPT?

Não. Segundo a OpenAI, cada bot é controlado separadamente: o GPTBot coleta conteúdo para treinar modelos e o OAI-SearchBot é quem decide se você aparece nas respostas de busca do ChatGPT. Você pode bloquear o GPTBot e continuar aparecendo se liberar o OAI-SearchBot.

Quais bots de IA devo liberar para aparecer no ChatGPT e no Perplexity?

No mínimo, o OAI-SearchBot (busca do ChatGPT) e o PerplexityBot (resultados do Perplexity). Se também quiser aparecer nas buscas do Claude, libere o Claude-SearchBot. Bots de treinamento como GPTBot ou ClaudeBot não são necessários para isso.

Os bots de IA respeitam o robots.txt?

Os rastreadores automáticos da OpenAI, Anthropic, Perplexity, Google e Common Crawl dizem respeitar. Os que agem quando um usuário pede algo específico são outra história: a OpenAI avisa que o robots.txt pode não se aplicar ao ChatGPT-User, e a Perplexity diz que o Perplexity-User em geral não o segue. Além disso, robots.txt é um pedido, não uma fechadura: um bot mal-intencionado pode ignorá-lo.

Bloquear o Google-Extended me tira do Google?

Não. O Google informa que o Google-Extended não afeta a inclusão nem o ranking na Pesquisa Google. Ele só controla se o seu conteúdo é usado para treinar os modelos Gemini e para o grounding do Gemini Apps e da Vertex AI.

Quanto tempo leva para uma mudança no robots.txt valer?

Depende de cada empresa. A OpenAI, por exemplo, informa que os sistemas dela podem levar cerca de 24 horas para se ajustar a uma mudança no robots.txt para a busca. Se mudar algo, espere pelo menos um dia antes de tirar conclusões.

Posts Relacionados

Continue explorando conteúdo similar que pode te interessar

Alianças

Ferramentas que uso todos os dias, com melhores condições para a comunidade.

Links de afiliado. O preço para si não muda.Ver todas as alianças
Programa de formação

Pronto para transformar sua ideia em um projeto real?

Transforma é o programa onde você aprenderá a criar, executar e escalar seu projeto com clareza e método.

Conhecer o Programa Transforma