Cloudflare, dos EUA, implementará novas regras de acesso para rastreadores de IA em 15 de setembro

De acordo com pt.wedoany.com-A Cloudflare lançou novos controles de tráfego para rastreadores de IA, permitindo que proprietários de sites definam políticas de acesso para programas automatizados ao seu conteúdo, categorizados em três funções: pesquisa, agente e treinamento. O recurso já está disponível para todos os clientes da Cloudflare, incluindo usuários do plano gratuito.

Os proprietários de conteúdo desejam proteger seus trabalhos criativos e receber uma compensação justa por eles. Jin-He Lee, gerente de produto da Cloudflare, e Bryan Becker, diretor de produto, afirmaram que bloquear completamente o conteúdo não é uma solução universal, e os proprietários de sites precisam de opções mais flexíveis, em vez de simplesmente "bloquear todos os programas automatizados a qualquer momento".

A empresa expandiu o controle de robôs do simples modo de permitir ou bloquear. Em vez de apenas classificar robôs como IA ou não IA, eles agora são divididos em três categorias com base em sua função: pesquisa, agente e treinamento. Os proprietários de sites podem aplicar estratégias diferentes para cada categoria.

O quadro atualizado considera como os robôs usam o conteúdo após rastreá-lo e incentiva os provedores a usar rastreadores separados para diferentes funções, a fim de aumentar a transparência e a capacidade de controle de acesso.

A partir de 15 de setembro de 2026, a configuração padrão para novos domínios será alterada. Em páginas que exibem anúncios, os rastreadores de treinamento e agente serão bloqueados por padrão, enquanto os rastreadores de pesquisa continuarão permitidos por padrão.

Rastreadores multiuso que executam funções de pesquisa e treinamento simultaneamente serão avaliados com base em ambas as estratégias. Se um site bloquear rastreadores de treinamento, os rastreadores multiuso (como Googlebot, Applebot e BingBot) também serão bloqueados, mesmo que os rastreadores de pesquisa sejam permitidos. A alteração entrará em vigor em 15 de setembro de 2026. Proprietários de sites que não desejarem adotar a nova configuração padrão podem optar por sair por meio das configurações de segurança antes de 15 de setembro, mantendo o comportamento atual dos rastreadores de treinamento que executam funções de pesquisa. A Cloudflare afirmou que notificará os clientes antes da alteração para que tenham tempo de revisar e atualizar as configurações.

A Cloudflare também lançou o BotBase, um banco de dados pesquisável de robôs conhecidos, incluindo robôs verificados e agentes de IA. O banco de dados oferece aos clientes de gerenciamento de robôs uma visão centralizada com base na nova taxonomia da Cloudflare, exibindo a classificação e o comportamento dos robôs verificados. Os administradores podem usar o BotBase para navegar pelo catálogo de robôs verificados, pesquisar robôs específicos, visualizar classificações, filtrar tráfego por robô individual e copiar IDs de detecção para usar em regras de segurança. A empresa planeja adicionar mais controles ainda este ano para facilitar o gerenciamento de tráfego automatizado pelos clientes a partir da mesma interface.

No controle de uso de conteúdo, a Cloudflare adicionou três novos níveis para que clientes de gerenciamento de robôs definam como os robôs podem usar o conteúdo após rastreá-lo: imediato (sem armazenamento ou reutilização), referência (indexação, resumo e backlink) e completo (resumo ou reprodução). A empresa está expandindo o formato Content Signals no robots.txt, adicionando um novo parâmetro "use" para expressar essas preferências. Embora o robots.txt não force a implementação dessa configuração, a Cloudflare relatará, por meio do BotBase, se os robôs verificados cumprem as preferências declaradas. Robôs verificados que ignorarem essas preferências ou reproduzirem conteúdo integralmente podem perder seu status de verificação. Anteriormente, todos os robôs verificados eram permitidos por padrão. No novo modelo, a verificação apenas confirma a identidade do robô, e os direitos de acesso dependem de sua classificação e da estratégia do proprietário do site, incluindo se rastreadores de pesquisa, agente ou treinamento são permitidos. A Cloudflare também planeja tornar o processo de verificação mais transparente e está desenvolvendo ferramentas para ajudar operadores de robôs a gerenciar sua classificação e status de verificação.

Para agentes de IA e robôs que operam por meio de plataformas de terceiros, a Cloudflare propôs um modelo de confiança transferível. A empresa planeja usar o cabeçalho padrão HTTP Forwarded para identificar o solicitante original por trás de intermediários, que também pode incluir o uso de conteúdo declarado pelo operador, como "use=reference". Isso permitirá que proprietários de sites apliquem políticas de confiança e acesso com base no operador original do robô, em vez do intermediário que processa a solicitação. A empresa reconhece que esse método pode não ser adequado para todos os casos de uso, especialmente quando a privacidade ou o acesso anônimo são importantes.