De acordo com pt.wedoany.com-A China Unicom Digital Intelligence, em colaboração com a Universidade de Tsinghua, a Universidade de Pequim, o Laboratório de Zhijiang e outras instituições de ensino superior, institutos de pesquisa e parceiros da indústria, lançou o primeiro Livro Branco do setor intitulado "Tecnologias de Otimização de Inferência de Grandes Modelos para Operação de Tokens".

O Livro Branco propõe pela primeira vez uma arquitetura de inferência de quatro camadas: "fusão de múltiplos modelos — otimização de modelos — fusão de modelos e computação — fusão de computação, rede e modelos", sistematizando as tecnologias-chave de cada camada e o estado atual da indústria, além de analisar o valor de aplicação dessas tecnologias em cenários reais de negócios. Essas tecnologias visam reduzir o custo de produção de tokens, melhorar a eficiência do serviço de tokens, garantir a estabilidade do fornecimento de tokens e promover a evolução dos serviços de grandes modelos de "chamável" para "operável".

Na camada de fusão de múltiplos modelos, estão envolvidos a quantificação dos limites de capacidade dos modelos, roteamento inteligente, cascata de modelos e integração de modelos, para resolver o problema de como diferentes solicitações podem ser combinadas com modelos adequados.

Na camada de otimização de modelos, estão envolvidos mecanismos de atenção de baixa complexidade, otimização de arquitetura de especialistas mistos, decodificação especulativa, quantização de modelos, destilação de modelos, otimização de cadeias de pensamento, gerenciamento de memória, compressão de cache de chave-valor e otimização de caminhos de geração de modelos de difusão, com o objetivo de reduzir o custo de geração por token.

Na camada de fusão de modelos e computação, estão envolvidos fusão de operadores, otimização de acesso à memória, aceleração de operadores básicos, ajuste de parâmetros do motor e adaptação de arquitetura de modelos, para melhorar a eficiência de execução entre modelos e hardware.

Na camada de fusão de computação, rede e modelos, estão envolvidos paralelismo de inferência em múltiplas máquinas, agrupamento dinâmico de lotes, reutilização de cache, roteamento de sessões persistentes, balanceamento de carga, limitação de taxa e degradação, para garantir o fornecimento estável de serviços de tokens em larga escala.