Ir para o conteúdo
Visibilidade em IA

Deve-se autorizar os robôs de IA no seu site?

Publicado em

Sim para os robôs que servem a pesquisa, se você quiser ser citado pelas IA; é uma escolha livre para aqueles que coletam dados de treino. OpenAI, Anthropic e Google separam estes dois usos: na OpenAI, um site que bloqueia o OAI-SearchBot não é exibido nas respostas de pesquisa do ChatGPT, enquanto bloquear o GPTBot afeta apenas o treino. As nossas medições vão no mesmo sentido: nenhum dos sites citados pelo ChatGPT proibia o OAI-SearchBot, mas 3% deles proibiam o GPTBot.

Para que tipo de pergunta? Tudo depende do robô. Um robô de pesquisa decide se o seu site pode aparecer nas respostas. Um robô de treino decide se os seus conteúdos podem servir para treinar os futuros modelos. As duas configurações são independentes.

Duas famílias de robôs, duas decisões diferentes

A OpenAI documenta três robôs. O OAI-SearchBot serve para fazer aparecer sites nos resultados de pesquisa do ChatGPT; um site que o exclua não é exibido nas suas respostas de pesquisa, embora ainda possa aparecer como link de navegação. O GPTBot coleta conteúdos que podem servir para treinar os seus modelos. O ChatGPT-User intervém para certas ações dos utilizadores. A OpenAI especifica que cada configuração é independente: um site pode autorizar o OAI-SearchBot para aparecer na pesquisa enquanto proíbe o GPTBot.

A Anthropic faz a mesma distinção. O ClaudeBot coleta conteúdos para o treino; bloqueá-lo exclui os futuros conteúdos do site dos dados de treino. O Claude-SearchBot melhora a qualidade dos resultados de pesquisa, e o Claude-User acede aos sites quando um utilizador faz uma pergunta; bloqueá-los pode reduzir a visibilidade do site nas respostas. No Google, o Google-Extended decide se os conteúdos podem servir para treinar os futuros modelos Gemini, e o Google especifica que este não tem qualquer efeito sobre a inclusão de um site na pesquisa Google nem sobre a sua classificação.

O que medimos nos robots.txt

Lemos o ficheiro robots.txt de cada site retornado pela pesquisa do ChatGPT, Claude e Gemini em cerca de dez setores de atividade consultados em francês, no dia da coleta, 10 de setembro de 2026. Primeira observação: a grande maioria dos sites não menciona os robôs de IA. O OAI-SearchBot só é mencionado por 5% a 6% dos sites, e o GPTBot por 11% a 16%, conforme tenham sido citados ou não.

Segunda observação: menos de 1% des sites retornados pela pesquisa do ChatGPT proibiam o OAI-SearchBot, e nenhum dos sites que ele citou, o que concorda com a documentação da OpenAI. Em contrapartida, proibir o treino não impediu a citação: 3% deles proibiam o GPTBot, contra 8% dos sites que ele retornou sem os citar. No Claude, 5% dos sites citados proibiam o ClaudeBot, contra 4% dos sites não citados; no Gemini, 2% dos sites citados proibiam o Google-Extended.

O que estes números significam

Bloquear um robô de treino não fecha a porta das respostas. Sites que recusam que os seus conteúdos treinem o GPT, o Claude ou o Gemini são mesmo assim encontrados e citados por estas IA quando pesquisam na web, porque são outros robôs, ou o próprio motor de pesquisa, que leem as páginas nesse momento.

Por outro lado, bloquear um robô de pesquisa retira o site das respostas da IA em questão. No ChatGPT, a constatação é clara: entre os sites que ele citou, não encontramos nenhum que proibisse o OAI-SearchBot. Autorizar este robô não basta para ser citado; segundo a OpenAI, proibi-lo basta para não ser exibido nas suas respostas de pesquisa.

O que isto muda para uma empresa

Verifique o seu ficheiro robots.txt. Se você quiser ser citado, permita a passagem dos robôs de pesquisa: OAI-SearchBot e ChatGPT-User para o ChatGPT, Claude-SearchBot e Claude-User para o Claude, e Googlebot para o Google e as suas respostas de IA. Verifique também se uma firewall ou um serviço de proteção contra robôs não os bloqueia antes mesmo da leitura do ficheiro.

Para os robôs de treino, GPTBot, ClaudeBot e Google-Extended, a decisão depende da sua política sobre o uso dos seus conteúdos, não da sua visibilidade nas respostas: as nossas medições não mostram que bloqueá-los impeça de ser citado. É uma escolha a ser feita com conhecimento de causa, não uma configuração técnica a deixar ao acaso.

O que não sabemos

Lemos os robots.txt no dia da coleta, sem verificar se os robôs respeitam realmente estes ficheiros, nem se uma firewall os bloqueava. O Claude-SearchBot e o Claude-User não faziam parte dos robôs analisados. Um ficheiro ausente foi contabilizado como não mencionando nenhum robô.

Fontes

  1. OpenAI — robôs de indexação da OpenAI, .
  2. Anthropic — robôs da Anthropic e bloqueio pelos sites, .
  3. Google Search Central — robôs de rastreamento comuns do Google, .
  4. Medições FaireDuBruit, de 4 a 16 de setembro de 2026 — ver « Como medimos ».

Perguntas relacionadas

Todas as perguntas sobre a visibilidade nas IAs · Nossa oferta