De acordo com pt.wedoany.com-Pesquisadores da Universidade de Zhejiang e da Kuaishou propuseram o MemGUI-Agent, que permite que o Agente GUI de dispositivos móveis gerencie ativamente a memória de contexto em tarefas de longo prazo, evitando a perda de informações críticas. A equipe, do Laboratório APRIL da Universidade de Zhejiang e do Departamento de Tecnologia Principal da Kuaishou, também lançou o conjunto de dados MemGUI-3K, o de maior média de passos para Agentes GUI em dispositivos portáteis. O modelo MemGUI-8B-SFT, treinado neste conjunto de dados, alcançou os melhores resultados entre modelos de dados abertos nos benchmarks de tarefas de longo prazo MemGUI-Bench e MobileWorld.
Anteriormente, os Agentes GUI de celular sofriam degradação de informações ao executar tarefas de longo prazo que envolviam múltiplos aplicativos e múltiplas etapas. Informações críticas obtidas no início, como preços, contatos, especificações e datas, eram diluídas, mal traduzidas ou completamente esquecidas em etapas subsequentes. Os agentes tradicionais do estilo ReAct anexavam cada pensamento, ação e resultado ao contexto, o que gerava dois problemas: primeiro, o crescimento linear do histórico, aumentando o comprimento da entrada e o custo computacional; segundo, a diluição de fatos críticos pelo ruído, onde o agente podia lembrar que havia consultado um parâmetro, mas esquecia o valor específico.
O design central do MemGUI-Agent é o Context-as-Action (ConAct), que eleva o gerenciamento de contexto ao mesmo nível de ações como clicar, digitar e rolar na interface do usuário. A cada passo, o Agente não apenas gera a próxima ação, mas também como organizar sua própria memória de trabalho. O ConAct divide o contexto em três campos estruturados: Histórico de Ações Dobradas (Folded Action History), que armazena o histórico de trajetórias comprimido, onde o modelo dobra tarefas concluídas em resumos; Estado da UI Dobrado (Folded UI State), que armazena fatos críticos completos da interface, como números de telefone, preços de produtos, parâmetros de especificação; e Registro de Passos Recentes (Recent Step Record), que registra a observação, intenção, ação e resultado do passo mais recente.
Os pesquisadores construíram ainda o conjunto de dados MemGUI-3K para treinar modelos de menor escala. Este conjunto de dados foi expandido a partir de 128 tarefas semente do MemGUI-Bench, passando por substituição de entidades, aumento de operações de memória e simplificação de tarefas, resultando em 2956 trajetórias bem-sucedidas, cobrindo 26 aplicativos Android e 7 categorias de cenários funcionais, extraindo 64430 amostras SFT. O comprimento médio da trajetória é de 28,8 passos, 65,1% das trajetórias usaram pelo menos uma operação de memória, e 88,7% das trajetórias incluíram pelo menos uma dobra em nível de intervalo. Essas estatísticas indicam que o conjunto de dados visa ensinar o modelo a gerenciar a memória de trabalho em tarefas de longo prazo.
No benchmark MemGUI-Bench, o MemGUI-Agent-235B (zero-shot) alcançou 37,5% Pass@1, 62,5% Pass@3 e 46,8% IRR, um aumento de 13,3 pontos percentuais no Pass@1 em comparação com o estilo ReAct da mesma linha de base 235B. O MemGUI-8B-SFT, no mesmo benchmark, alcançou 23,4% Pass@1, 35,9% Pass@3 e 30,2% IRR, com aumentos de 14,0, 15,6 e 15,1 pontos percentuais, respectivamente, em comparação com a linha de base Qwen3-VL-8B-Instruct. No benchmark fora da distribuição MobileWorld GUI-Only, o MemGUI-Agent-235B obteve 29,1% de sucesso, 14,6 pontos percentuais a mais que a linha de base; o MemGUI-8B-SFT obteve 17,9% de sucesso, superando os 17,7% do OpenMobile-8B.
Experimentos de ablação de componentes mostraram que adicionar operações de memória da UI, dobramento de histórico ou etapas de autodescrição individualmente traz melhorias, mas os três são indispensáveis. O ConAct completo alcançou 40,0% Pass@1 no MemGUI-Bench-40, uma melhoria significativa em relação aos 5,0% da linha de base ReAct. A análise de falhas revelou que o ConAct reduziu principalmente as alucinações induzidas pelo contexto, com uma queda total de cerca de 41% nas falhas, sendo as melhorias mais notáveis nas alucinações de processo e de saída. Esta pesquisa avança o problema de memória do Agente GUI de módulos de engenharia externos para dentro do modelo de política, permitindo que o Agente aprenda a gerenciar o próprio processo de execução enquanto executa ações.
O primeiro autor do artigo é Liu Guangyi, doutorando do Laboratório APRIL da Universidade de Zhejiang, e o autor correspondente é o Professor Liu Yong, da mesma universidade. O MemGUI-Agent é totalmente open-source, com código, dados, modelos, pipelines de treinamento e avaliação já disponíveis.
O gargalo das tarefas de celular de longo prazo reside na necessidade do modelo de salvar fatos derivados da UI entre telas, etapas e aplicativos, incluindo preços, números de telefone, especificações de produtos, conteúdo de postagens em redes sociais e texto a ser copiado. Anexar passivamente o histórico não é compacto nem confiável. O ConAct faz com que o Agente produza cinco blocos de conteúdo estruturados a cada passo: pensamento, dobramento, chamada de ferramenta, observação da UI e intenção da ação. As chamadas de ferramenta incluem tanto ações regulares da UI quanto operações de memória, como memory_add, memory_update e memory_delete. Isso significa que o gerenciamento de contexto é realizado pelo mesmo modelo de política multimodal em uma única inferência direta.
Os pesquisadores descobriram que aplicar o protocolo ConAct a modelos existentes não melhora automaticamente o desempenho. Experimentos zero-shot com modelos Qwen3-VL de diferentes escalas mostraram que apenas o modelo mais forte, Qwen3-VL-235B-Thinking, se beneficia significativamente do ConAct; modelos de menor escala ou o 235B-Instruct tiveram desempenho reduzido ao usar o ConAct em configuração zero-shot. Isso confirma que o gerenciamento ativo de contexto não é uma simples técnica de prompt; o modelo deve aprender quando comprimir o histórico, quando escrever na memória da UI e como gerar descrições de etapas reutilizáveis.
Na fase de coleta de dados, os autores usaram o Qwen3-VL-235B-Thinking como modelo professor, executando tarefas no ambiente Android seguindo o protocolo ConAct completo. Em seguida, por meio de filtragem em nível de trajetória e filtragem de plausibilidade em nível de etapa, garantiram que os dados de treinamento supervisionado não continham etapas redundantes, errôneas ou de desvio.
Este conjunto de dados extraiu 57951 etapas de treinamento plausíveis e 6479 etapas de teste plausíveis. Pelas estatísticas, o comprimento médio da trajetória do MemGUI-3K é de 28,8 passos, com mediana de 25 passos; 23,8% dos dobramentos são em nível de intervalo, ou seja, comprimindo várias etapas em um resumo de subtarefa.
O relatório experimental descreve duas configurações de Agente: a primeira é o MemGUI-Agent-235B, mantendo os pesos do Qwen3-VL-235B-Thinking inalterados e usando o protocolo ConAct em configuração zero-shot; a segunda é o MemGUI-8B-SFT, partindo do Qwen3-VL-8B-Instruct e realizando LoRA SFT no MemGUI-3K. No MemGUI-Bench, o MemGUI-Agent-235B alcançou 37,5% Pass@1, 62,5% Pass@3 e 46,8% IRR. Em comparação com a linha de base do estilo ReAct com o mesmo backbone 235B, o Pass@1 aumentou 13,3 pontos percentuais, o Pass@3 aumentou 15,6 pontos percentuais e o IRR aumentou 16,8 pontos percentuais. Em comparação com o fluxo de trabalho agente impulsionado pelo Gemini-2.5-Pro, ele também obteve um desempenho geral mais forte.
No MobileWorld GUI-Only, o MemGUI-Agent-235B obteve 29,1% de sucesso, 14,6 pontos percentuais a mais que a linha de base Qwen3-VL-235B-Thinking. O MemGUI-8B-SFT obteve 17,9% de sucesso, 8,5 pontos percentuais a mais que o Qwen3-VL-8B-Instruct, superando também os 17,7% do OpenMobile-8B.
Experimentos de ablação de componentes foram realizados no MemGUI-Bench-40. A linha de base ReAct tinha apenas 5,0% Pass@1. Ao adicionar apenas a operação de memória da UI, o Pass@1 subiu para 17,5%; ao adicionar apenas o dobramento do histórico, o Pass@1 subiu para 22,5%; ao adicionar apenas a etapa de autodescrição, o Pass@1 subiu para 25,0%. O ConAct completo elevou o Pass@1 para 40,0%, o Pass@3 para 62,5% e o IRR para 51,0%. Esses três componentes lidam com problemas diferentes: o dobramento do histórico controla o crescimento do contexto, a memória da UI salva fatos precisos, e a etapa de autodescrição fornece matéria-prima confiável para memória e dobramento subsequentes.
Casos de estudo mostram que, em tarefas de GUI de celular de longo prazo, informações críticas geralmente aparecem brevemente apenas em uma página intermediária, mas o Agente precisa usá-las com precisão dezenas de passos depois, mesmo após alternar aplicativos. A abordagem do MemGUI-Agent é: ao ver um fato crítico, escrevê-lo ativamente na memória da UI; após concluir uma subtarefa em fases, dobrar o histórico em um histórico compacto, permitindo que o modelo leia diretamente o estado estruturado e leve as informações vistas anteriormente para uso em aplicativos subsequentes.
A classificação de casos de falha mostra que, na configuração de ablação zero-shot do MemGUI-Bench-40, o ConAct completo reduziu o número total de falhas de 99 para 58, uma queda de cerca de 41%. Destas, as alucinações de processo caíram de 52 para 30, e as alucinações de saída de 30 para 13, as melhorias mais significativas. Isso indica que o ConAct lida principalmente com alucinações induzidas pelo contexto, enquanto as melhorias em deficiências de conhecimento e compreensão de intenção são menores, sugerindo que o conhecimento do aplicativo, a compreensão da intenção da tarefa e a robustez ambiental do modelo ainda são gargalos subsequentes.
Para tarefas de automação móvel de longo prazo, empurrar o problema de memória do Agente GUI de módulos externos para dentro do modelo de política, permitindo que o Agente não apenas execute ações, mas também aprenda a gerenciar o próprio processo de execução, é um passo importante para passar de "ser capaz de clicar" para "ser capaz de realizar tarefas".
