De acordo com pt.wedoany.com-Recentemente, a Academia Chinesa de Tecnologia da Informação e Comunicação (CAICT) realizou o "Seminário sobre Avaliação e Padronização de Grandes Modelos" durante a Cúpula Global "AI for Good", em Genebra, Suíça. O vice-diretor do Escritório de Padronização de Telecomunicações da União Internacional de Telecomunicações (UIT), Bilel Jamoussi, e o presidente da CAICT, Yu Xiaohui, participaram e discursaram. O evento visou responder às recomendações do "Pacto Digital Global" da ONU sobre "eliminar novas lacunas digitais no campo da avaliação de IA".

Em seu discurso, Bilel Jamoussi destacou que as normas internacionais estão se tornando um suporte importante para a governança e aplicação confiável da IA. A UIT já publicou normas internacionais para avaliação de referência de grandes modelos e continua promovendo a padronização de modelos multimodais de grande escala. A iniciativa conjunta lançada neste seminário visa promover a colaboração interdisciplinar e interinstitucional em indicadores, métodos e padrões de avaliação globalmente, impulsionando o desenvolvimento seguro, inclusivo e benéfico da inteligência artificial.

O presidente da CAICT, Yu Xiaohui, afirmou que o sistema de avaliação de grandes modelos reflete a escolha de valores da humanidade quanto à direção do desenvolvimento da IA. A definição das dimensões e métodos de avaliação influenciará profundamente a evolução tecnológica e a direção da implementação prática, sendo uma base importante para promover o desenvolvimento confiável da IA, equilibrando equidade social e desenvolvimento sustentável. Ele destacou que a chave para avançar na cooperação internacional em avaliação é construir um consenso global, fortalecendo a coordenação de caminhos técnicos de avaliação e estabelecendo conjuntamente uma orientação de valores de segurança, confiabilidade, controlabilidade e beneficência.

Wang Jian, acadêmico da Academia Chinesa de Engenharia, fundador da Alibaba Cloud e diretor do Laboratório de Zhejiang, afirmou em seu discurso principal que, como sistemas altamente complexos, mesmo os desenvolvedores de grandes modelos têm dificuldade em compreender com precisão seus limites de capacidade, o que representa um grande desafio para a avaliação. Ele sugeriu que, atualmente, a avaliação se concentra mais em testar funções do sistema; no futuro, poderíamos nos inspirar em testes de QI humano para explorar uma metodologia consistente para medir a inteligência das máquinas. O significado da avaliação não está apenas em pontuar e classificar, mas em ajudar a compreender e promover a própria tecnologia.

Lin Yonghua, vice-diretora e engenheira-chefe do Instituto de Inteligência Artificial de Pequim (BAAI), Gilles Thonet, vice-secretário-geral da Comissão Eletrotécnica Internacional (IEC), Nicolas Miailhe, cofundador da AI Safety Connect, além de especialistas de instituições como Korabench.ai, Amazon Web Services, Future Ethics Lab, Instituto de Pesquisa em Eletrônica e Telecomunicações da Coreia (ETRI), Huawei e ZTE, compartilharam práticas e discutiram profundamente tópicos como modelos de base científica, testes de equipe vermelha (red teaming), medição de comportamento de IA, interoperabilidade de padrões e reconhecimento mútuo internacional. Os participantes chegaram a quatro consensos: primeiro, a IA confiável depende de verificação, não de declarações; a avaliação é a capacidade fundamental para promover a IA benéfica. Segundo, as limitações dos benchmarks estáticos estão se tornando evidentes; a avaliação deve evoluir para ser dinâmica, contínua e cobrir todo o ciclo de vida. Terceiro, o escopo da avaliação deve se estender de modelos para aplicações, considerando tanto riscos de longo prazo quanto impactos imediatos. Quarto, é necessário fortalecer o compartilhamento de métodos e o reconhecimento mútuo de resultados, promovendo padrões e avaliações como infraestrutura pública global, para que os resultados da avaliação beneficiem mais países e grupos.

Wei Kai, diretor do Instituto de Pesquisa em Inteligência Artificial da CAICT, apresentou o sistema de avaliação de grandes modelos "Fangsheng" em seu relatório intitulado "Avaliação de Grandes Modelos: Prática e Padronização". Wei Kai destacou que a avaliação de grandes modelos desempenha três papéis: uma "bússola" orientando a inovação tecnológica, um "conector" ligando tecnologia e aplicação, e uma "válvula de segurança" garantindo o desenvolvimento benéfico da IA. No futuro, a avaliação de capacidades se concentrará mais na verificação de tarefas complexas, a avaliação de segurança e confiabilidade se expandirá para a identificação de riscos sistêmicos, e a avaliação de eficiência de engenharia reforçará a coordenação entre custo e eficiência. O sistema "Fangsheng", baseado na ITU-T F.748.44, abrange múltiplas dimensões, incluindo capacidade, aplicação, segurança e confiabilidade, e inteligência de ponta. Até julho de 2026, o sistema já realizou mais de 1.500 avaliações, construiu um conjunto de dados de teste com 8,5 milhões de entradas e reduziu os riscos de contaminação de dados e manipulação de rankings por meio de testes dinâmicos.

A CAICT lançou durante o evento a "Iniciativa Internacional para a Construção Conjunta e Desenvolvimento Benéfico de Sistemas de Avaliação de Grandes Modelos", propondo ações em dez áreas: reconhecer o valor da avaliação, promover a inovação em avaliação, aprimorar a estrutura de avaliação, consolidar a base de dados, capacitar aplicações industriais, fomentar a colaboração aberta, garantir a transparência da avaliação, manter a integridade da avaliação, promover a interoperabilidade de padrões e impulsionar a IA benéfica. A iniciativa convida organizações internacionais, instituições de pesquisa, empresas e setores da sociedade a compartilhar conjuntos de dados e métodos de avaliação, e a construir comunidades de avaliação de código aberto para reduzir a lacuna de inteligência.

No futuro, a CAICT aprofundará ainda mais a cooperação com organizações internacionais como UIT, IEC e ISO, bem como com a indústria global, academia e comunidades de código aberto, compartilhando abertamente métodos de avaliação, conjuntos de dados e experiências práticas, promovendo um ecossistema de avaliação de IA aberto, inclusivo e interoperável, e contribuindo com práticas chinesas para o desenvolvimento benéfico da inteligência artificial.