De acordo com pt.wedoany.com-A Qualcomm afirmou recentemente em seu blog técnico que, na próxima década, a chave para o desempenho da IA não será mais a velocidade do processador, mas sim uma mudança estrutural na arquitetura de computação. O artigo aponta que, com grandes modelos generativos se tornando a carga de trabalho dominante, o gargalo de desempenho dos sistemas de inteligência artificial mudou da velocidade de computação para a eficiência da transferência de dados, uma tendência conhecida como o problema do "memory wall".
O artigo argumenta que o processo de inferência moderna de IA depende fortemente da memória. Para gerar cada novo token, é necessário ler uma grande quantidade de parâmetros do modelo e informações de contexto da memória. O verdadeiro desafio está em fornecer esses dados com rapidez suficiente, e não na computação em si. Estima-se que, na última década, o tamanho dos modelos Transformer tenha crescido 240 vezes a cada dois anos, enquanto a capacidade de memória do hardware de IA aumentou apenas 2 vezes, fazendo com que os processadores passem grande parte do tempo esperando por dados.
A arquitetura tradicional de memória de alta largura de banda (HBM) mais XPU aumenta a largura de banda ampliando os canais entre a memória e o processador, mas essa abordagem está enfrentando limitações físicas e econômicas. A diminuição dos retornos das interfaces, os custos de energia e tempo devido à distância de transmissão de dados e o alto preço da embalagem avançada tornam o caminho tradicional cada vez mais restrito. O artigo enfatiza que a energia consumida para transferir operandos através dos limites dos chips pode exceder em muito a energia gasta nas operações aritméticas após a chegada dos dados.
Para resolver esse problema, a Qualcomm propôs o conceito de "Near-Memory Computing" (Computação de Memória Próxima) e chamou sua implementação de tecnologia HBC (High Bandwidth Computing). Essa abordagem coloca as unidades de computação diretamente próximas à memória, permitindo que operações intensivas em dados sejam executadas no local onde os dados residem. O processador principal, como o acelerador de IA Qualcomm Dragonfly, ainda lida com tarefas complexas e flexíveis, enquanto o HBC é especializado em operações limitadas pelo movimento de dados. O artigo acredita que o amadurecimento da tecnologia de integração 3D, especialmente a capacidade de ligar diretamente DRAM a circuitos lógicos, já forneceu uma base comercial para essa abordagem.
Os produtos da série Dragonfly baseados nesse conceito já demonstraram melhorias significativas de desempenho. Os dados mostram que o Dragonfly AI250, usando a primeira geração da tecnologia HBC da Qualcomm, tem uma largura de banda de memória efetiva 18 vezes maior que o Dragonfly AI200 com LPDDR5X; enquanto o Dragonfly AI300, usando a segunda geração da tecnologia HBC da Qualcomm, tem uma largura de banda de memória efetiva 54 vezes maior que o Dragonfly AI200.
O artigo aponta que a computação de memória próxima terá impactos multifacetados na indústria. As métricas de avaliação de desempenho mudarão, com compradores tendendo a avaliar plataformas com base no desempenho sob cargas de trabalho reais intensivas em memória e no desempenho por watt e por dólar, em vez do throughput teórico de pico. À medida que a escala de implantação aumenta, a energia se torna o principal custo operacional e gargalo físico, e arquiteturas que minimizam a transferência de dados terão uma vantagem estrutural. Além disso, o papel da memória passará de um meio de armazenamento passivo para um participante ativo na computação, uma mudança que afetará todos os níveis, desde o design de chips até a economia de data centers.
A Qualcomm acredita que, na era da inteligência artificial, o recurso escasso não é mais a capacidade de computação, mas sim como entregar dados ao local necessário de forma oportuna e econômica. A chave para projetar sistemas está em limitar inteligentemente a transferência de dados, em vez de simplesmente buscar a velocidade de processamento.
