De acordo com pt.wedoany.com-Duas equipas de investigação, uma da Coreia do Sul e outra do Japão, apresentaram, respetivamente, propostas de empilhamento lateral de chips DRAM no Simpósio IEEE de Circuitos de Very Large Scale Integration (VLSI), na tentativa de ultrapassar os estrangulamentos de sobreaquecimento e largura de banda enfrentados pela memória de alta largura de banda (HBM).

Atualmente, a HBM utilizada em GPUs de centros de dados é composta por múltiplas camadas de chips DRAM empilhadas verticalmente sobre um substrato, transmitindo dados e energia através de through-silicon vias (TSVs). A condutividade térmica do material de preenchimento entre os chips é muito inferior à do substrato de silício, dificultando a transferência de calor para o dissipador do encapsulamento. À medida que o número de camadas empilhadas aumenta, não só o problema de aquecimento se agrava, como a área ocupada pelos TSVs também comprime o espaço das células de memória, exacerbando a contradição entre capacidade de armazenamento e largura de banda.

Para contornar estas limitações, a equipa sul-coreana seguiu um caminho diferente. O laboratório de Jimin Kwon da Universidade Nacional de Ciência e Tecnologia de Ulsan (UNIST) e a equipa de Seongjoo Kim da Universidade Nacional de Hanbat propuseram um esquema denominado V-Die. Esta abordagem consiste em empilhar os chips DRAM verticalmente de lado, introduzindo canais de arrefecimento microfluídico entre os chips. Simulações indicam que, com a tecnologia de arrefecimento líquido direto (DLC), a temperatura máxima do empilhamento V-Die se reduz para cerca de 45°C, muito abaixo do pico habitual de mais de 80°C do HBM4. Ao eliminar os TSVs e o chip de base, toda a parede lateral de cada chip voltada para o interposer pode ser utilizada para o roteamento de I/O, permitindo um número de pontos de conexão até quatro vezes superior ao do HBM4. Simulações baseadas na especificação JEDEC HBM4 mostram que a arquitetura V-Die oferece uma largura de banda de pico 4,01 vezes superior à do HBM4, com uma redução de 37,2% na latência de leitura. Em testes com cargas de trabalho reais de IA, simulando a execução de um modelo de linguagem de grande escala à escala do GPT-3 (175B parâmetros) em 8 nós de computação GPU, o sistema V-Die processou 540 tokens por segundo, contra 296 tokens do sistema HBM4 com capacidade equivalente, resultando num aumento de 1,82 vezes no débito de descodificação; a latência para processar o primeiro token foi reduzida em cerca de 32% (24 milissegundos). A equipa de investigação prevê que, em comparação com o HBM4, o V-Die apresente uma melhoria global de velocidade de 82%. Atualmente, a equipa está a desenvolver um protótipo para validar as características térmicas e elétricas.

A equipa japonesa concentrou-se em resolver os desafios de integração do empilhamento lateral. Investigadores da Universidade de Tóquio, da Universidade de Tohoku e do Riken demonstraram o esquema MOSAIC. Abandonando as conexões elétricas tradicionais, fabricaram bobinas de indução retangulares de aproximadamente 80 micrómetros por 240 micrómetros num dos lados do chip de memória, colocando bobinas correspondentes verticalmente no substrato, utilizando a indução do campo magnético para transmitir sinais de dados. Como as bobinas não necessitam de sobreposição total, este método reduz os requisitos de consistência da espessura dos chips. As conexões de alimentação são colocadas na lateral do cubo de memória. O MOSAIC foi concebido para ser montado no topo da GPU, integrando 98 chips por cubo, fornecendo 294 GB de capacidade de armazenamento, o dobro da capacidade do HBM4 no mesmo volume. Embora não utilize estrutura de arrefecimento líquido, o calor pode ser dissipado para cima através de aletas de silício, com a temperatura de pico controlada abaixo de 81,3°C. A equipa salienta que, se a espessura dos chips DRAM for reduzida do valor padrão para 100 micrómetros, o mesmo volume pode integrar 294 chips, atingindo uma capacidade de 882 GB.

James Myers, diretor de projeto do Imec (Centro de Microeletrónica da Bélgica), apontou que os esquemas de empilhamento lateral enfrentam desafios práticos de integração. Mesmo diferenças de espessura de apenas alguns micrómetros entre chips DRAM, após acumulação em múltiplas camadas, podem levar a desalinhamentos com as almofadas de solda do substrato. Os esquemas acima mencionados foram apresentados no mês passado no Simpósio IEEE de Circuitos VLSI.