A Cloudflare e a OpenAI fizeram um projeto de pesquisa em julho de 2026 para descobrir se sinais da rede da Cloudflare podem ajudar o ChatGPT a encontrar páginas novas da web de forma mais eficiente. Agora, a empresa divulgou os primeiros resultados, que a própria Cloudflare considera positivos.

Pense na internet como uma biblioteca enorme em que o robô de busca da OpenAI precisa percorrer prateleiras para achar livros úteis. Segundo a fonte, o piloto, que usou um grupo de participantes de cerca de 1% da rede da Cloudflare, permitiu que a OpenAI descobrisse e indexasse centenas de milhões de páginas novas. Essas páginas podem ser úteis mesmo quando poucos outros sites linkam para elas, como manuais de um modelo específico de máquina de lavar, requisitos atualizados de passaporte ou o cardápio atual de um restaurante.

Nem toda página encontrada vale a pena. A fonte explica que a Cloudflare observa padrões de tráfego automatizado, como robôs pedindo arquivos que não existem, sites que redirecionam quase qualquer endereço para a página inicial e endereços diferentes que levam ao mesmo conteúdo. Reconhecer esses casos permite cortar o trabalho inútil antes que o robô baixe a página, o que também ajuda os donos dos sites.

A empresa também testa sinais para identificar páginas potencialmente perigosas, como um formulário de login falso plantado por um atacante em um site legítimo. Nesse caso, a ideia é marcar apenas aquela página, e não o domínio inteiro, para proteger as pessoas sem punir o dono do site.

Outro ponto é o equilíbrio entre atualizar o conteúdo e não sobrecarregar os servidores. Baixar todas as páginas com frequência seria caro para todos. Por isso, sinais de mudança indicam quando vale a pena visitar uma página de novo e quando não vale. Segundo a fonte, a descoberta de páginas novas pode aumentar o rastreamento no início, e o objetivo é reduzir esse trabalho com o tempo.

Para donos de sites, a fonte destaca que um sinal sobre uma página não dá permissão para acessá-la, e que a pesquisa usa metadados da web para busca e descoberta, sem compartilhar o conteúdo das páginas para treinar modelos. Quem quiser entender e controlar como sistemas de IA acessam seu site pode usar o AI Crawl Control, da Cloudflare.