De acordo com pt.wedoany.com-Em 8 de julho, a Cloudflare, empresa americana de serviços em nuvem e infraestrutura de rede, e a OpenAI, empresa americana de inteligência artificial, iniciaram um projeto-piloto de pesquisa para explorar como usar dados de insights de sites participantes na rede global da Cloudflare para ajudar mecanismos de busca de IA a descobrir, rastrear e indexar conteúdo da web aberta de forma mais eficiente. O projeto foca na precisão e atualidade das respostas de IA, com sinais principais incluindo frescor do conteúdo, qualidade do tráfego e mudanças reais nas páginas.
A maior diferença entre a busca de IA e a busca tradicional é que os resultados não são mais apresentados apenas como links de páginas da web, mas sim como respostas geradas diretamente pelo modelo. Se a página foi atualizada, se o conteúdo da página realmente mudou, se o tráfego de acesso é anormal e se o conteúdo do site ainda tem valor de referência, tudo isso afeta a capacidade do sistema de IA de obter informações de página mais precisas em tempo hábil. A Cloudflare não fornece o conteúdo textual da página em si, mas sim sinais em tempo real da camada de rede e do site, para ajudar o sistema de IA a determinar quais páginas valem mais a pena rastrear, quando rastrear novamente e como reduzir a indexação ineficaz.
A rede global da Cloudflare cobre mais de 20% dos sites, permitindo-lhe observar atualizações de páginas e comportamentos de acesso em larga escala. A OpenAI fornece modelos, sistemas de busca e perguntas e respostas, usando consultas reais de usuários para testar a eficácia do rastreamento e indexação orientados por sinais.
A direção técnica do projeto-piloto é o "rastreamento orientado por sinais". Rastreadores tradicionais geralmente rastreiam páginas com base em frequência fixa, mapas do site, descoberta de links ou peso histórico, o que pode levar a dois tipos de problemas: um é que a página foi atualizada, mas o índice de IA não foi atualizado a tempo, resultando em respostas desatualizadas; o outro é que a página não sofreu alterações substanciais, mas é rastreada repetidamente, desperdiçando recursos de rastreamento e aumentando a pressão de acesso ao site. Com a introdução de sinais de rede em tempo real da Cloudflare, o sistema de busca de IA pode ajustar as prioridades de rastreamento com base em mudanças de conteúdo, qualidade de acesso e status da página.
O frescor do conteúdo é um dos parâmetros-chave. A frequência de mudanças em notícias, anúncios, páginas de produtos, páginas de preços, documentos de políticas, documentação técnica e postagens de blog varia. Se a busca de IA não consegue determinar se uma página foi realmente atualizada, pode processar repetidamente conteúdo antigo ou perder novas informações. O sinal de mudança real da página ajuda o sistema a identificar mudanças no nível do conteúdo, em vez de apenas decidir se precisa reindexar com base na existência da URL, mudanças de timestamp ou submissão do site.
A qualidade do tráfego está mais relacionada à credibilidade da página e ao status de acesso. Tráfego anômalo, acessos de baixa qualidade, solicitações inválidas, acessos de robôs e flutuações temporárias de página podem interferir na avaliação do valor da página pelo sistema de IA. Após a Cloudflare introduzir sinais da camada de rede no piloto, a OpenAI pode testar se esses sinais ajudam a melhorar a triagem de páginas, o ritmo de rastreamento e a qualidade da geração de respostas.
O projeto também está relacionado à governança de rastreadores de IA. A Cloudflare já lançou ferramentas para proprietários de sites relacionadas ao controle de rastreadores de IA, sinais de conteúdo e permissões de acesso, permitindo que os sites expressem de forma mais granular suas preferências em relação à indexação de busca, entrada de IA e treinamento de modelos. Este piloto com a OpenAI está mais focado em "como o conteúdo que pode ser descoberto pode entrar na busca de IA de forma mais eficiente", em vez de permitir que o sistema de IA expanda indiscriminadamente a escala de rastreamento.
O projeto ainda está em fase de pesquisa piloto, com foco em verificar se os sinais de rede em tempo real podem melhorar a eficiência da indexação de busca de IA. Os testes se concentrarão em aspectos como prioridade de rastreamento, identificação de mudanças de página, velocidade de atualização do índice, redução de rastreamento de baixo valor, atualidade das respostas e capacidade de descoberta de conteúdo da web aberta. A Cloudflare e a OpenAI continuarão testando em torno do escopo dos sites participantes, limites de uso de sinais, permissões de conteúdo, controle do site e qualidade dos resultados de busca de IA.
