Pichau Arena
Uma Batalha de Informações

NVIDIA quer reduzir custos de IA pela metade: entenda como

Sistema já está em uso por grandes provedores de nuvem e corta custo por token em metade

Getting your Trinity Audio player ready...

– Enfabrica EMFASYS, apoiada pela NVIDIA, conecta até 18 TB de DDR5 por Ethernet a servidores GPU com RDMA/CXL
– Proporciona redução de até 50% no custo por token de inferência
– Permite escalar memória separadamente da GPU, contornando o alto custo da HBM e aumentando eficiência em data centers de IA

Conforme publicado pela Reuters na última terça-feira (29), a startup do Vale do Silício Enfabrica, apoiada financeiramente pela NVIDIA, apresentou recentemente o EMFASYS (Elastic Memory Fabric System), uma solução inovadora que conecta GPUs de IA a pools de memória DDR5 por Ethernet, reduzindo os custos de memória em data centers de inferência.

O sistema nasceu para lidar com a escassez e o alto custo das memórias HBM, usadas por chips avançados da verdinha e da concorrente AMD, que encarecem o treinamento e execução de modelos de linguagem.

É importante destacar que o EMFASYS combina um chip networking proprietário (SuperNIC ACF‑S) com software de gerenciamento que permite que servidores se conectem a até 18TB de memória DDR5 remota via portas Ethernet de 400 GbE ou 800 GbE, utilizando protocolos como RDMA e CXL.

A leitura/escrita ocorre com throughput de  800 GB/s e latência na casa dos microsegundos, oferecendo performance adequada sem depender exclusivamente da HBM integrada.

Novidade vai eliminar concorrentes?

NVIDIA
Imagem: Reprodução/Enfabrica

Segundo Rochan Sankar, cofundador e CEO da Enfabrica, a abordagem não substitui a HBM, mas serve para conter o crescimento dos custos, sobretudo em workloads de inferência para chatbots e agentes de IA. O sistema já está em uso por três grandes provedores de nuvem, embora os nomes não tenham sido revelados.

O grande trunfo do EMFASYS é a redução de até 50% no custo por token gerado, segundo relatórios da própria startup, graças ao uso de memória DDR5 mais barata e software que maximiza a utilização da GPU. Ao mesmo tempo, o sistema melhora a eficiência geral da infraestrutura, liberando servidores de escalas rígidas de RAM local e permitindo escalar memória e GPU de forma independente.

NVIDIA dá passo importante

No mais, a NVIDIA, que já demonstrou ganhos de quase 50% em velocidade de leitura de armazenamento com tecnologia própria (série Spectrum-X), vê nesse projeto um componente estratégico para democratizar e viabilizar economicamente a IA em larga escala.

Por fim, a estratégia do Time Verde inclui construir uma infraestrutura de IA mais acessível e escalável, reduzindo a dependência da cara memória HBM e possibilitando acesso a grandes volumes de memória por meio de soluções baseadas em hardware de rede avançado e software inteligente.

0 0 votos
Classificação do artigo
Inscrever-se
Notificar de
guest

0 Comentários
mais antigos
mais recentes Mais votado
0
Adoraria saber sua opinião, comente.x