Uma equipe de pesquisa liderada pelo Professor Song Hyun-oh, do Departamento de Ciência da Computação e Engenharia da Faculdade de Engenharia da Universidade Nacional de Seul, desenvolveu com sucesso uma nova tecnologia de inteligência artificial chamada KVzip. Essa tecnologia concentra-se na compressão inteligente da memória de diálogo de chatbots baseados em grandes modelos de linguagem (LLMs), amplamente utilizados em tarefas de contexto extenso, como diálogos longos e sumarização de documentos. Os resultados da pesquisa foram publicados no servidor de pré-impressão arXiv, impulsionando o desenvolvimento de sistemas de diálogo de IA eficientes e escaláveis.
A memória de diálogo é o armazenamento temporário de frases, perguntas e respostas durante as interações com chatbots, usada para gerar respostas contextuais coerentes. A tecnologia KVzip comprime essa memória de forma eficaz, eliminando informações redundantes ou irrelevantes, permitindo que os chatbots mantenham a precisão, ao mesmo tempo que reduzem o uso de memória e aceleram a velocidade de resposta. Os métodos de compressão de memória existentes geralmente dependem da otimização de consultas, o que degrada o desempenho ao lidar com novas perguntas. O KVzip, no entanto, reduz efetivamente o tamanho da memória de diálogos de contexto extenso, mantendo a mesma precisão, preservando as informações necessárias para a reconstrução do contexto. Em diversas tarefas, o KVzip alcança uma redução de 3 a 4 vezes no uso de memória, uma melhoria de aproximadamente 2 vezes na velocidade de resposta e nenhuma redução na precisão. Essa tecnologia foi aplicada com sucesso a sistemas de gerenciamento de aprendizagem de idiomas (LLMs) de código aberto populares, como Llama 3.1, Qwen 2.5 e Gemma 3, demonstrando excelente escalabilidade.
O KVzip está integrado à biblioteca de cache e compressão KV de código aberto da NVIDIA, o KVPress, facilitando a implementação prática. No futuro, espera-se que o KVzip seja amplamente utilizado em sistemas de gerenciamento de aprendizagem de idiomas de nível empresarial, reduzindo o uso de memória e a latência de resposta, permitindo que os servidores lidem com mais usuários simultâneos e conversas mais longas, além de reduzir significativamente os custos operacionais. O professor Song Hyun-oh afirmou: "O KVzip permite a reutilização da memória comprimida, mantendo as informações mais essenciais". O Dr. Kim Jang-hyun, principal colaborador da tecnologia, disse: "O KVzip pode ser aplicado perfeitamente a aplicações LLM do mundo real, garantindo maior qualidade e velocidade para interações de longo prazo".
