A Tecnologia "CoD" Reduz Consideravelmente os Custos da IA e Aumenta a Eficiência de Inferência

A equipe de pesquisa da Zoom Communications desenvolveu recentemente uma tecnologia inovadora chamada "Chain of Draft" (CoD, em inglês). Essa tecnologia pode reduzir significativamente os custos e os recursos computacionais necessários para que sistemas de Inteligência Artificial (IA) resolvam problemas de inferência complexos, abrindo novas possibilidades para o fornecimento da IA em larga escala pelas empresas.

 

Inspirada no modo como os seres humanos resolvem problemas complexos, a tecnologia CoD permite que os grandes modelos linguísticos (LLM, em inglês) resolvam problemas com a menor quantidade de palavras possível, precisando apenas de 7,6% do texto requerido pelos métodos atuais. Isso não apenas reduz os custos, mas também diminui o consumo de recursos computacionais.

 

A equipe de pesquisa comprovou a eficácia da CoD em vários testes de referência, incluindo raciocínio aritmético, raciocínio comum e raciocínio simbólico. Em um teste de resolução de questões esportivas pelo Claude 3.5 Sonnet, a CoD reduziu a saída média de 189,4 tokens para apenas 14,3 tokens, uma redução de 92,4%, ao mesmo tempo em que aumentou a precisão de 93,2% para 97,3%.

 

Para empresas que processam milhões de consultas de inferência mensais, a CoD pode fazer com que os custos caiam consideravelmente. Além disso, a CoD é fácil de implementar. Ao contrário de muitas tecnologias de IA que necessitam de treinamento recorrente caro ou alterações na estrutura do modelo, a CoD pode ser implantada com modelos existentes apenas com uma simples modificação na indicação.

 

A CoD é especialmente adequada para aplicações sensíveis ao tempo de resposta, como suporte ao cliente em tempo real, IA móvel, ferramentas educacionais e serviços financeiros. Com o código e dados públicos no GitHub, empresas e desenvolvedores podem testar e implementar esse método. A tecnologia CoD destaca a importância cada vez maior da otimização da eficiência de inferência na evolução dos sistemas de IA.