JEDEC dos EUA publica padrão SPHBM4 para reduzir custos de memória AI

De acordo com pt.wedoany.com-A JEDEC (Joint Electron Device Engineering Council) publicou uma nova especificação com o objetivo de reduzir o preço da memória HBM (High Bandwidth Memory) de custo ultraelevado que alimenta os processadores de IA mais rápidos. O novo padrão, ao suportar a instalação de pilhas de memória SPHBM4 sem a necessidade de encapsulamento avançado e utilizando substratos orgânicos baratos, promete tornar a memória de alta largura de banda um pouco mais acessível, mas não ajuda a aliviar a escassez de DRAM, pois utiliza grandes dispositivos DRAM HBM4.

A entidade normativa publicou a especificação SPHBM4 (Standard Package High Bandwidth Memory, JESD330-4), que combina ICs DRAM HBM4 com um encapsulamento padrão e uma interface rápida e estreita de 512 bits. Embora as interfaces de 1024 bits e 2048 bits usadas pelas memórias HBM3 e HBM4 ofereçam desempenho incomparável, a interface larga consome uma área significativa de silício dentro do processador, exigindo interposers caros e tecnologias de encapsulamento avançado com capacidade limitada (como o CoWoS da TSMC) para integração com o processador principal. A próxima memória SPHBM4 continua a usar as mesmas pilhas DRAM HBM4 do JESD270-4, mas substitui o chip base HBM4 tradicional por um novo chip PHY/buffer SPHBM4, caracterizado por uma interface mais estreita de 512 bits, permitindo a montagem em substratos orgânicos padrão sem o uso de métodos de encapsulamento complexos. Para compensar o impacto da interface mais estreita, o SPHBM4 suporta taxas de transferência de dados mais altas, variando de 22,4 GT/s a 46,0 GT/s.

Ao contrário do HBM4, que usa uma interface de memória de 2048 bits para conectar ao processador principal, o SPHBM4 usa 32 canais DDR independentes de 16 bits, organizados em oito quad-canais. Internamente, uma pilha HBM4 contém 32 canais de memória, cada um com 64 bits de largura, resultando em uma interface externa total de 2048 bits. O SPHBM4 precisa "converter" a I/O interna de 2048 bits em uma interface externa de 512 bits, agrupando cada quatro canais HBM4 em um quad-canal. Como resultado, externamente, um quad-canal expõe 64 pinos de dados (4×16 bits), substituindo os 256 pinos de dados (4×64 bits) normalmente necessários para esses quatro canais HBM4. Para manter a largura de banda, esses 64 pinos operam a uma taxa de dados quatro vezes maior que a interface HBM4 original.

O SPHBM4 aumenta significativamente a largura de banda de I/O, mas não torna a matriz DRAM em si mais rápida. O núcleo da memória HBM4 mantém a mesma arquitetura e temporização básicas, incluindo frequência do núcleo, ativação de linha, pré-carga e operações de refresh, embora o PHY adicional deva introduzir alguma latência. Por exemplo, o núcleo DRAM opera a apenas um quarto da frequência da interface externa, a 2 GHz em um SPHBM4 de classe de velocidade de 32 GT/s. A principal mudança está no novo chip base, que implementa um PHY semelhante a um SerDes de alta velocidade, mapeando cada canal externo de 16 bits para quatro canais HBM4 tradicionais de 64 bits. Consequentemente, o SPHBM4 introduz equalização, treinamento de canal, requisitos de BER e outras características de sinal de alta velocidade que são desnecessárias na interface paralela mais lenta e larga do HBM4. Para suportar taxas de transferência de até 46,0 GT/s por pino, cada quad-canal usa uma interface de comando/endereço compartilhada protegida por correção de erros direta (FEC), enquanto a transferência de dados depende de clocks de escrita (WCK) e leitura (RCK) diferenciais dedicados, juntamente com sinais de ECC e relatório de erros.

Em termos de capacidade, o SPHBM4 pode usar pilhas contendo 4, 8, 12 ou 16 chips DRAM, com densidades de 24 Gb ou 32 Gb. Portanto, a maior configuração SPHBM4 padronizada é uma pilha de memória de 64 GB construída com 16 chips DRAM de 32 Gb, a mesma capacidade máxima suportada pelo HBM4E.

O padrão suporta um passo de bump maior que 90 µm e comprimentos de canal de até 20 mm, duas características que permitem eliminar o caro interposer e usar fiação de substrato orgânico mais barato. No entanto, livrar-se do interposer e do encapsulamento CoWoS (ou similar) não torna automaticamente o SPHBM4 barato. O SPHBM4 ainda requer uma quantidade significativa de ICs DRAM HBM4, encapsulamento 2.5D, um chip base complexo (potencialmente mais caro que o usado no HBM4 tradicional) e montagem de encapsulamento avançado com vias de silício. Além disso, a interface estreita do SPHBM4 consome significativamente menos perímetro de chip e área de silício dentro do processador, tornando-o mais atraente para empresas que buscam instalar mais capacidade de computação e/ou mais pilhas de memória ao redor do processador.

Em termos de desempenho máximo, o HBM4 transfere dados a 8 GT/s (embora a maioria dos controladores e chips suporte taxas de dados mais altas), portanto, uma pilha HBM4 oferece 2 TB/s de largura de banda. O HBM4E aumenta a taxa de transferência de dados para 12–12,8 GT/s, elevando a largura de banda de pico por pilha para 3–3,3 TB/s. Em comparação, um SPHBM4 com interface de 46 GT/s pode atingir 2,944 TB/s, mas não se espere que as versões iniciais do SPHBM4 atinjam a velocidade máxima. Portanto, no futuro previsível, HBM4, HBM4E e C-HBM4E provavelmente manterão a liderança de desempenho em largura de banda sobre o SPHBM4.

A latência do HBM4 ainda pode ser superior à do SPHBM4. O HBM4 conecta-se ao processador principal quase diretamente através de uma interface muito simples. Em contraste, o SPHBM4 insere um PHY mais complexo que realiza serialização/desserialização, treinamento de canal, processamento FEC e outras operações que podem adicionar alguns nanossegundos de latência. Isso pode não ser um grande problema para algumas aplicações, mas tarefas de inferência se beneficiam muito de baixa latência. Em termos de consumo de energia e tensão, HBM4 e SPHBM4 compartilham a mesma tensão do núcleo DRAM, pois o SPHBM4 reutiliza as pilhas DRAM HBM4 padrão. No entanto, a I/O é diferente: o HBM4 deixa a tensão da interface a critério do fornecedor de memória, permitindo implementação em 0,7V, 0,75V, 0,8V ou 0,9V, dependendo do equilíbrio desejado entre potência, velocidade e integridade do sinal. Em contraste, o padrão SPHBM4 padroniza a I/O externa em 0,75V. Além disso, o HBM4 transmite dados através de uma interface muito larga, contendo muitos links paralelos lentos que tendem a ser muito eficientes em termos energéticos. Em comparação, o SPHBM4 transmite a mesma quantidade de dados através de um quarto dos fios, operando aproximadamente quatro vezes mais rápido. A transmissão de dados em alta velocidade tende a ser menos eficiente energeticamente do que a transmissão de dados "lenta" em uma interface larga. Considerando que o PHY bastante complexo do SPHBM4 converte a interface larga em uma interface estreita, este é provavelmente um processo que consome muita energia. Ainda assim, a redução de 4 vezes no número de drivers e receptores pode efetivamente diminuir o consumo de energia do SPHBM4.

O SPHBM4 essencialmente transforma os desafios de fabricação associados ao uso de interposers de silício em desafios de engenharia para desenvolver um chip base/PHY extremamente complexo. Desenvolver e fabricar tal chip base não deve ser um problema para as foundries. No entanto, resta saber se os fabricantes de DRAM conseguirão projetar e produzir SPHBM4 com boa eficiência energética. Afinal, a Micron e a SK hynix colaboram com a TSMC para fabricar chips base C-HBM4E e HBM4E, enquanto a divisão de memória da Samsung usa chips base produzidos pela Samsung Foundry.

Um aspecto interessante do SPHBM4 é se os desenvolvedores chineses de aceleradores de IA podem se beneficiar desta tecnologia. Teoricamente, desenvolvedores chineses como Biren, Huawei, Moore Threads e outros que estão na lista negra e não podem usar os serviços de fabricação de chips ou encapsulamento da TSMC podem se tornar um dos maiores beneficiários do SPHBM4, talvez até mais do que as empresas americanas. Primeiro, o perímetro de interface mais curto do chip (shoreline) beneficia diretamente chips fabricados com processos de litografia mais atrasados, pois permite empacotar mais capacidade de computação sem sacrificar largura de banda ou capacidade de memória. Em segundo lugar, as OSATs chinesas atualmente não oferecem tecnologias semelhantes ao CoWoS, portanto, eliminar o interposer e usar substratos orgânicos avançados é uma vantagem. No entanto, o SPHBM4 ainda requer pilhas DRAM HBM4, que atualmente só podem ser produzidas pela Samsung, SK hynix e Micron, enquanto a chinesa CXMT praticamente só consegue produzir HBM2E. Além disso, construir um PHY de 46 GT/s é muito difícil e pode ser desafiador para os desenvolvedores chineses de IC. Ainda assim, montar encapsulamentos SPHBM4 em substratos orgânicos é, sem dúvida, mais alinhado com a base de fabricação existente na China. Se os fabricantes locais de DRAM eventualmente desenvolverem memória de nível HBM4 competitiva, o SPHBM4 poderá reduzir significativamente a lacuna de infraestrutura restante do país.

O SPHBM4 da JEDEC parece ser um padrão promissor que, devido ao menor custo de integração, pode ser capaz de cobrir uma gama mais ampla de aplicações do que o próprio HBM4. No entanto, HBM4, HBM4E e C-HBM4E manterão a liderança de desempenho, tornando-os a escolha preferida para aceleradores de IA emblemáticos nos próximos anos.