De acordo com pt.wedoany.com-A VIDRAFT anunciou recentemente a divulgação do ranking de desempenho do motor de aceleração de inferência para grandes modelos de linguagem VKAE, e implementou um contêiner Docker que integra pesos de modelo e ambiente de serviço. Este motor, denominado VIDRAFT Kernel Acceleration Engine, é uma ferramenta de aceleração a nível de kernel.
Em comparação com serviços padrão, o VKAE oferece um aumento de throughput de inferência de até 23,4 vezes, nas mesmas condições de GPU. O motor melhora o throughput e a velocidade de resposta, mantendo a qualidade da saída. Os utilizadores podem verificar diretamente o desempenho executando o contêiner público no seu próprio ambiente de GPU. O VKAE também suporta API compatível com OpenAI, podendo ser conectado a serviços existentes.
De acordo com medições próprias da VIDRAFT, num ambiente com GPU NVIDIA B200 e FP8, o modelo representativo Qwen3.5-35B-A3B gera até 601 tokens por segundo em fluxo único. Em processamento de múltiplas solicitações, o throughput ultrapassa 10.000 tokens por segundo. O modelo de escala ultra grande JGOS-398B também aplica a mesma série de técnicas de otimização. A implementação interna do kernel é segredo comercial e não será divulgada, mas pode ser verificada externamente através do ranking e do contêiner unificado.
A VIDRAFT destacou quatro significados desta divulgação: verificabilidade dos dados que os utilizadores podem reproduzir diretamente; redução de custos de serviço devido ao aumento de throughput; manutenção da qualidade durante o processo de aceleração; e integração imediata baseada na API compatível com OpenAI. O VKAE suporta principalmente GPUs das séries NVIDIA Blackwell (B200) e Hopper (H100, H200), e está a expandir o suporte para modelos como o A10G small.
A VIDRAFT já havia divulgado anteriormente o FINAL Bench para medir a metacognição de IA, o middleware de runtime MARL para redução de alucinações, e as séries de modelos Darwin, Chimera e Aether, acumulando capacidades de IA full-stack, desde o desenvolvimento de modelos até à otimização de serviços. Kim Min-sik, representante da VIDRAFT, afirmou que uma competição de velocidade que não pode ser reproduzida é sem sentido, e que o núcleo do VKAE reside em permitir que os utilizadores verifiquem diretamente com o seu próprio hardware.
A VIDRAFT é uma startup fundada em 2024, instalada no Seoul AI Hub, com o objetivo de alcançar a True-AGI até 2030. A empresa está a desenvolver um LLM dedicado ao coreano, um modelo de raciocínio científico e infraestrutura de aceleração de inferência, e a promover a expansão no mercado global.
