A Nvidia lançou o processador Groq 3 LPU, que possui 500 MB de memória SRAM e largura de banda de 150 TB/s.

Tudo isso faz parte da plataforma Nvidia Vera Rubin

A Nvidia incorporou à sua nova plataforma Vera Rubin para IA não apenas um processador Intel, mas também um processador de linguagem totalmente novo (LPU) baseado nas tecnologias da Groq. Vale lembrar que a Nvidia fechou com a Groq um acordo de licenciamento de impressionantes US$ 20 bilhões, por meio do qual obteve não só acesso às tecnologias da empresa, como também parte de sua equipe, incluindo o fundador.

Mais especificamente, a plataforma da Nvidia utiliza o chip Groq 3 LPU. Trata-se de um processador de linguagem especializado, com 98 bilhões de transistores, que conta com 500 MB de memória SRAM. Isso é muito pouco, mas sua largura de banda chega a 150 TB/s. Para efeito de comparação, os 288 GB de memória HBM4 do GPU Rubin podem exibir apenas 22 TB/s.

No fim das contas, o processador de linguagem entrega desempenho de 1,2 PFLOPS (FP8), e é importante entender que essa é uma solução voltada para inferência, não para treinamento.

Dentro da sua plataforma, a Nvidia criou até mesmo um rack separado, o Groq 3 LPX, que reúne 256 processadores. No total, o rack oferece 128 GB de memória SRAM com largura de banda de 40 PB/s.

A Nvidia vê o Groq LPX como um coprocessador para o GPU Rubin, capaz de elevar o desempenho de decodificação em todos os níveis do modelo de IA, em cada token. Quando Rubin e Groq LPX são combinados, a potência computacional total para inferência de IA alcança 315 PFLOPS.