10x szybsze wnioskowanie w porównaniu z HBM4: d-Matrix łączy siły z AIchip, aby wyprodukować pierwszą na świecie pamięć 3D DRAM

Kontrola Nvidii nad całą infrastrukturą sprzętową sztucznej inteligencji jest nadal silna, ale sporo firm stara się teraz oferować wydajne alternatywy. Kilka lat temu, gdy Nvidia walczyła o zaspokojenie stale rosnącego popytu na sprzęt do wnioskowania, pojawiła się firma d-Matrix, która wykorzystała okazję, by pozycjonować się jako niezawodny dostawca sprzętu do generatywnej sztucznej inteligencji w przestrzeni centrów danych. Jego pierwsza dedykowana karta obliczeniowa - Corsair C8została dobrze przyjęta, a firma planuje teraz wprowadzić na rynek kolejny model integrujący pierwszą na świecie masowo produkowaną pamięć 3D DRAM.

d-Matrix współpracował z wysokowydajną infrastrukturą AI ASIC aIchip z Tajwanu w celu opracowania rozwiązania 3D DRAM, które ma "wyeliminować wąskie gardła wydajności i kosztów ograniczające dzisiejszą infrastrukturę AI" Ten nowy typ pamięci RAM znany jako 3DIMC (3D stacked digital in-memory compute) jest obecnie testowany na układach Pavehawk firmy d-Matrix.

Oczekuje się, że pierwszym komercyjnym produktem wyposażonym w pamięć DRAM ze stosem 3D będzie akcelerator wnioskowania Raptor firmy d-Matrix (link partnerski Nvidia Jetson AGX), który zastąpi obecne modele Corsair. d-Matrix szacuje, że rozwiązanie 3DIMC może zapewnić nawet 10-krotną szybkość wnioskowania w porównaniu z najszybszymi układami HBM4 HBM4-opartych na HBM4.

Sid Sheth, współzałożyciel i dyrektor generalny d-Matrix, wyjaśnia, że 3D-stacked DRAM stanowi "przełom, który sprawia, że sztuczna inteligencja jest nie tylko szybsza, ale także bardziej opłacalna i zrównoważona na dużą skalę. 3DIMC stanowi kolejny logiczny krok na naszej drodze do dostarczania wydajnych architektur wnioskowania, które dotrzymują kroku wykładniczemu wzrostowi generatywnej i agentowej sztucznej inteligencji"