Google atualiza Android Bench para avaliar LLMs no desenvolvimento Android

De acordo com pt.wedoany.com-A Google atualizou o benchmark Android Bench, um projeto utilizado para avaliar o desempenho de grandes modelos de linguagem (LLMs) em tarefas de desenvolvimento Android. Engenheiros da Google redesenharam os métodos de teste, adicionaram novos modelos e permitiram que desenvolvedores participassem do desenvolvimento do conjunto de testes.

O principal conteúdo desta atualização é a migração para o framework Harbor, que agora é responsável por executar todos os testes do Android Bench. Essa mudança garante maior consistência na avaliação dos modelos, resultados reproduzíveis e a capacidade de adicionar novos cenários de teste mais rapidamente. Além disso, o novo sistema avalia não apenas a qualidade das respostas, mas também o custo e a eficiência de cada LLM específico.

Desenvolvedores terceiros agora podem influenciar a direção do benchmark. A Google incentiva os desenvolvedores a compartilhar tarefas de trabalho reais e discutir métodos de avaliação de modelos, o que ajuda a atualizar regularmente o conjunto de testes e a refletir com mais precisão os cenários de uso de LLMs no desenvolvimento Android.

Vários novos modelos de linguagem foram adicionados à tabela de resultados, incluindo Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Max e Qwen 3.7 Plus. Atualmente, os três primeiros colocados são Claude Fable 5, GPT 5.5 e Claude Sonnet 5.