A Cloudflare passou a separar tráfego automatizado de IA em três finalidades: busca, agente e treinamento. Em 15 de setembro de 2026, novos domínios terão treinamento e agentes bloqueados por padrão em páginas com anúncios, enquanto busca permanecerá permitida. A aplicação da regra mais restritiva a rastreadores de múltiplos usos pode atingir Googlebot, Applebot e BingBot em contas que bloqueiam treinamento. Empresas precisam revisar a configuração antes da data para não proteger conteúdo às custas de descoberta, indexação ou funções legítimas.
O que muda na classificação de bots
Busca cobre robôs que indexam conteúdo para responder consultas e normalmente geram referência ou compensação. Agente representa automação que visita o site em tempo real para executar uma tarefa pedida por uma pessoa. Treinamento identifica coleta usada para treinar ou ajustar modelos.
Um mesmo robô pode receber mais de uma classificação. A Cloudflare informa que, a partir de 15 de setembro, prevalecerá a regra mais restritiva aplicável. Assim, bloquear treinamento pode bloquear também um rastreador usado para busca quando ele não separa claramente as duas finalidades.
Risco para SEO, conteúdo e conversão
Uma regra ampla pode reduzir rastreamento de páginas novas, atualização de snippets e presença em respostas de busca. Por outro lado, liberar tudo pode permitir treinamento, reprodução ou coleta competitiva que não corresponde à estratégia do site. A decisão correta depende do valor de cada área e do comportamento observado.
Páginas institucionais, documentação, catálogo, área logada e conteúdo com publicidade podem exigir políticas diferentes. Antes de alterar o bloqueio global, liste quais robôs trazem descoberta, quais executam ações necessárias e quais apenas consomem recursos ou conteúdo.
Auditoria prática antes de 15 de setembro
Revise no painel da Cloudflare as opções de Search, Agent e Training e confirme se existe configuração legada de bloqueio de bots de IA. Exporte uma linha de base de tráfego orgânico, cobertura, logs de robôs e respostas do servidor para comparar depois da mudança.
Teste páginas representativas com ferramentas oficiais de mecanismos de busca e acompanhe erros 403, desafios e quedas abruptas de crawl. Evite mudar firewall, robots.txt e cache no mesmo dia, porque várias alterações simultâneas tornam a causa de qualquer perda difícil de identificar.
- Inventariar regras atuais e responsáveis
- Separar páginas públicas, monetizadas e autenticadas
- Identificar bots essenciais por finalidade
- Registrar tráfego e indexação antes da mudança
- Testar rastreamento e monitorar respostas do servidor
- Preparar reversão documentada
Como usar sinais de conteúdo sem confundir preferência com bloqueio
A Cloudflare começou a testar o parâmetro use nos Content Signals. Os valores immediate, reference e full expressam se o conteúdo deve ser usado apenas na interação, indexado com referência ou resumido e reproduzido. Clientes com robots.txt gerenciado passam a sinalizar, por padrão, busca permitida, treinamento negado e uso por referência.
Esses campos declaram preferência; não impõem sozinhos um bloqueio técnico. A política precisa combinar sinalização, regras da plataforma, monitoramento e contratos quando houver. Também é importante manter sitemap, status HTTP, links internos e dados estruturados corretos para os rastreadores que continuarem autorizados.
Limitações e decisões de governança
A classificação é mantida pela Cloudflare e pode evoluir. O selo de bot verificado não significa mais permissão automática: a categoria liberada definirá o acesso. Bots não identificados, novos intermediários e automações internas ainda exigem investigação e regras específicas.
SEO, segurança, conteúdo, jurídico e receita devem aprovar a política juntos. O objetivo não é maximizar bloqueio ou abertura, mas definir quais trocas fazem sentido: descoberta, execução de tarefas, treinamento, referência e reprodução. Documente exceções e reavalie o efeito com dados após a mudança.
Para levar daqui
Antes de 15 de setembro, revise bloqueios legados e trate busca, agentes e treinamento como finalidades diferentes. Meça a linha de base, teste rastreamento e deixe um caminho de reversão para proteger conteúdo sem desaparecer dos canais que geram descoberta.
