De acordo com pt.wedoany.com-Em 13 de julho, a Qujing Technology, provedora chinesa de serviços de produção de Tokens de IA, anunciou uma nova rodada de planos de construção de infraestrutura, que incluirá o aumento das reservas de capacidade de produção de Tokens de IA, a atualização de sua plataforma proprietária ATaaS de produção eficiente de Tokens de IA e a construção de fábricas de Tokens de IA voltadas para grandes modelos de linguagem (LLMs), plataformas de internet e ecossistemas industriais regionais. O projeto também expandirá a escala de integração de computação heterogênea nacional, permitindo que chips de computação de diferentes arquiteturas entrem em cenários de produção essenciais, como inferência de LLMs, operação de agentes de IA e serviços de geração de nível empresarial.
Uma fábrica de Tokens de IA não se limita a aumentar o número de servidores, mas sim a organizar chips, memória, armazenamento, rede, mecanismos de inferência e sistemas de agendamento em uma cadeia de produção contínua. Quando um usuário submete uma tarefa de modelo, o sistema precisa concluir a classificação da solicitação, carregamento do modelo, alocação de recursos computacionais, pré-processamento do prompt, geração do primeiro Token, decodificação contínua dos Tokens subsequentes e retorno do resultado. Qualquer gargalo, como espera por recursos, falha de cache ou bloqueio de comunicação, afetará diretamente a latência do primeiro Token, a taxa de Tokens por segundo e a capacidade de processamento concorrente. O foco da expansão da Qujing Technology é garantir que a nova capacidade computacional se converta de forma estável em capacidade de produção de Tokens entregável, em vez de criar um pool de recursos computacionais com apenas escala de hardware, mas sem eficiência de inferência.
A plataforma ATaaS continuará a ser responsável pelo agendamento de recursos entre diferentes dispositivos de computação. A plataforma pode dividir tarefas de inferência de LLMs entre hardware como GPUs, CPUs, memória e SSDs, evitando que toda a computação se concentre em um único tipo de acelerador; em clusters que coexistem chips nacionais e não nacionais, também precisa identificar a capacidade computacional, memória de vídeo, largura de banda e capacidade de adaptação de software de diferentes dispositivos para decidir em qual tipo de dispositivo as camadas do modelo, operadores ou solicitações devem ser executadas.
Esta implantação de computação heterogênea nacional também envolve o gerenciamento unificado do software de inferência subjacente. Diferentes chips geralmente usam diferentes arquiteturas de computação, bibliotecas de operadores, drivers e componentes de comunicação; o mesmo modelo não pode ser simplesmente copiado para ser executado em todos os dispositivos. O ATaaS precisa adaptar o formato de quantização, a compatibilidade de operadores, o método de alocação de memória de vídeo e a estratégia de comunicação entre nós antes que o modelo entre no ambiente de produção, e distribuir as tarefas entre diferentes hardwares com base na tarefa real. Perguntas e respostas de texto curto, processamento de contexto longo, geração de código, saída de dados estruturados e chamadas de ferramentas de agente têm requisitos diferentes de computação e armazenamento; o sistema deve selecionar dinamicamente os dispositivos com base na carga de trabalho do negócio, em vez de usar uma configuração fixa por um longo período.
A inferência de LLMs geralmente é dividida em duas fases: pré-preenchimento e decodificação. A fase de pré-preenchimento requer o processamento concentrado do contexto de entrada do usuário, com alta densidade computacional; a fase de decodificação gera Tokens um a um, exigindo maior velocidade de acesso à memória, capacidade de cache e capacidade de agendamento contínuo. A Qujing Technology adota uma abordagem de computação-armazenamento coordenada para gerenciar o KV Cache, armazenando o estado intermediário do contexto já calculado na memória ou no sistema de armazenamento. Quando várias solicitações contêm prompts de sistema, conteúdo de base de conhecimento ou diálogos históricos idênticos ou semelhantes, o sistema pode ler diretamente o cache, reduzindo a execução repetida de cálculos do modelo. O sistema técnico divulgado anteriormente pela plataforma também inclui compartilhamento de cache entre clusters, isolamento de cadeia de inferência, escalonamento elástico e monitoramento de qualidade, usados para lidar com reutilização de cache, contenção de recursos e flutuações de serviço em tarefas de alta concorrência.
As novas fábricas de Tokens de IA serão direcionadas para diferentes tipos de cargas de trabalho de produção. Modelos de ponta exigem a operação de clusters de inferência em larga escala por longos períodos, com altos requisitos de concorrência, velocidade de retorno do primeiro Token e estabilidade de saída; as solicitações de plataformas de internet têm flutuações óbvias de pico e vale, exigindo que o sistema adicione ou libere rapidamente nós de computação; os ecossistemas industriais regionais podem precisar atender simultaneamente a tarefas de governo, manufatura, finanças, saúde e escritórios corporativos, com diferentes negócios exigindo modelos, permissões de dados e parâmetros de qualidade de serviço independentes. O ATaaS converte essas necessidades em configurações de computação subjacentes e controla o uso de recursos por meio de filas de tarefas, agendamento de instâncias de modelo e escalonamento de nós.
A plataforma ATaaS, divulgada anteriormente pela Qujing Technology, já formou uma capacidade de processamento de quase um trilhão de Tokens por dia, capaz de suportar dezenas de milhares de demandas de inferência de inteligência artificial. A plataforma adota uma abordagem operacional de "poucos modelos, otimização profunda", concentrando recursos em alguns modelos de produção e realizando otimizações específicas em torno da latência do primeiro Token, taxa de Tokens por segundo, saída estruturada e estabilidade de chamada de função. Atualmente, seus serviços de inferência são usados em negócios relacionados a modelos como o GLM da Zhipu AI e o Kimi da Moonshot AI.
Os fundos necessários para esta construção vêm da rodada Série A recentemente concluída pela Qujing Technology. Em seis meses, o financiamento total acumulado da empresa ultrapassou 1 bilhão de yuans. Esta rodada foi liderada pelo Huirong Fund do Henan Investment Group, com a participação contínua de acionistas existentes, incluindo Zhenzhi Capital, Shangshi Capital, Xinglian Capital, Shanghai Guofang Innovation, Honghui Fund, Huakong Fund e Hangzhou Fucheng. O valor do financiamento, a proporção de contribuição de cada instituição e a avaliação mais recente da empresa não foram divulgados, mas o uso dos fundos está claramente concentrado em reservas de capacidade computacional, atualização da plataforma ATaaS e construção de fábricas de Tokens de IA.
Durante a expansão, a quantidade de capacidade computacional não é o único indicador de capacidade de produção. A produção de Tokens de IA também requer monitoramento contínuo da latência do primeiro Token, velocidade de decodificação, número de solicitações concorrentes, utilização de hardware, taxa de acerto de cache, taxa de falha de tarefas e taxa de sucesso de saída estruturada, e ajuste das estratégias de agendamento com base na versão do modelo e na carga de trabalho do negócio. Se um cluster de computação apenas adicionar aceleradores sem expandir simultaneamente a interconexão de alta velocidade, memória, armazenamento e software de inferência, o novo hardware pode ficar ocioso devido à espera de comunicação ou movimentação de dados. A Qujing Technology, nesta construção, colocará a computação heterogênea nacional e a plataforma ATaaS no mesmo sistema de produção, com o objetivo de permitir que vários chips compartilhem tarefas de inferência e convertam recursos computacionais dispersos em capacidade de produção de Tokens mensurável e agendável.
Atualmente, a Qujing Technology ainda não divulgou a escala da nova capacidade computacional, os modelos de chip, o número de fábricas de Tokens de IA, a localização do projeto ou o primeiro prazo de implantação. Os conteúdos de construção já confirmados incluem a expansão das reservas de capacidade, a atualização do sistema de inferência subjacente, o aumento da carga de trabalho de produção de computação heterogênea nacional e a construção de capacidade de produção de Tokens dedicada para modelos de ponta, plataformas de internet e projetos regionais.
