Se o rastreamento do Google estiver sobrecarregando o servidor ou elevando custos durante uma falha, o Google recomenda reduzir temporariamente as respostas bem-sucedidas aos rastreadores e retornar 500, 503 ou 429. Para 503 e 429, o cabeçalho Retry-After pode informar quando uma nova tentativa é adequada. Essa medida é emergencial e deve durar apenas algumas horas ou, no máximo, um ou dois dias, porque também reduz atualização e descoberta de páginas.
Confirme que o pico vem do Google
Antes de limitar tráfego, verifique logs recentes do servidor, user agents, endereços de origem, rotas mais acessadas, tempo de resposta e consumo de recursos. Compare com os relatórios de rastreamento do Search Console. Bots podem falsificar nomes, então valide a origem conforme a documentação do Google quando houver dúvida.
Separe aumento legítimo, ataque, monitoramento e erro da própria aplicação. Um pico depois de publicar muitas páginas ou corrigir bloqueios pode ser esperado. Uma explosão de URLs quase iguais costuma indicar problema de arquitetura, não necessidade permanente de reduzir o Googlebot.
Procure URLs infinitas e alvos de anúncios
O Google aponta navegação facetada, filtros, ordenações e calendários com URLs para muitas datas entre as causas comuns. Parâmetros combinados podem criar milhares de endereços com pouco conteúdo diferente. Corrija links internos, canonização, regras de parâmetros e geração de páginas em vez de manter o servidor respondendo com erro.
Outra causa possível é um alvo de anúncio dinâmico da Rede de Pesquisa. A redução afeta também rastreadores usados pelo Google Ads. Se páginas de destino deixam de ser acessíveis, campanhas podem ser pausadas ou canceladas e anúncios podem parar de aparecer.
- Liste as rotas com maior volume de rastreamento
- Agrupe parâmetros, filtros e combinações de calendário
- Confira mudanças recentes em site, sitemap e campanhas
- Meça latência, erros e custo por rota
- Corrija a fonte da multiplicação de URLs
Use 429 ou 503 somente durante a emergência
Quando muitos URLs do hostname retornam 500, 503 ou 429, a infraestrutura do Google reduz o ritmo para todo o hostname, não apenas para os endereços com erro. O ritmo volta a aumentar quando a quantidade dessas respostas cai. Uma limitação ampla pode afetar subdomínios e áreas que continuam saudáveis.
Prefira 429 quando a infraestrutura está aplicando limite de requisições e 503 quando o serviço está temporariamente indisponível. O Google também aceita 500 para reduzir tráfego, mas 500 comunica falha interna genérica e não deve ser produzido deliberadamente quando um código temporário mais claro descreve a situação.
Informe quando tentar novamente
Em respostas 429 ou 503, envie Retry-After com um número de segundos ou uma data e hora absoluta em UTC. O valor deve refletir capacidade real de recuperação. Não use um prazo longo apenas para afastar o rastreador, pois páginas novas serão descobertas mais devagar, preços e disponibilidade podem demorar a atualizar e remoções podem permanecer no índice.
Monitore erros e carga durante a janela. Assim que a infraestrutura estabilizar, volte a responder normalmente. Manter esses códigos por vários dias pode fazer URLs saírem do índice. A documentação recomenda que a redução emergencial não ultrapasse um ou dois dias.
Peça ajuda apenas em situações excepcionais
Se a plataforma não consegue servir respostas temporárias aos rastreadores, o Google oferece um pedido especial para relatar taxa excepcionalmente alta. Informe hostname, período, evidência dos logs, impacto e ritmo suportável. A avaliação pode levar vários dias.
O formulário não serve para pedir aumento de rastreamento. Para ampliar descoberta, melhore desempenho, arquitetura, links, sitemaps e qualidade das páginas. Depois do incidente, registre a causa e a correção para que a equipe diferencie uma falha de capacidade de um problema de SEO técnico.
Para levar daqui
Reduza o Googlebot com 429 ou 503 e Retry-After apenas para proteger a infraestrutura durante uma emergência curta. Investigue logs e elimine a causa estrutural para evitar perda de atualização, indexação e entrega de anúncios.
