Axera AX8860P rzuca wyzwanie Nvidia DGX Spark dzięki autorskiemu akceleratorowi AI

DGX Spark firmy Nvidia ma nieoczekiwanego konkurenta z Chin (źródło: CNX Software). Producent układów scalonych Axera zaprezentował serię AX8860, rodzinę procesorów ukierunkowanych na AI, zaprojektowanych do lokalnego uruchamiania dużych modeli językowych. Układy te będą napędzać kompaktowe komputery AI producentów takich jak Sipeed i Radxa, przy czym pierwszy z nich twierdzi, że jego nadchodząca MaixStation może przewyższyć wydajnością DGX Spark firmy Nvidia w wybranych zadaniach.

Axera AX8860P ma 16 rdzeni CPU Arm Cortex-A55 i dedykowaną jednostkę przetwarzania neuronowego (NPU), która zapewnia wydajność obliczeniową do 256 TOPS w formacie FP4. Układ, wytwarzany w procesie technologicznym 6 nm, obsługuje do 128 GB pamięci LPDDR5X za pośrednictwem 256-bitowego interfejsu, oferując maksymalną przepustowość 273 GB/s. Pozostałe elementy specyfikacji obejmują łączność PCIe 5.0, połączenia między układami AXLink oraz rozbudowane możliwości kodowania i dekodowania wideo.

Podstawą możliwości AX8860P w zakresie AI jest autorska architektura AXNeutron firmy Axera. W przeciwieństwie do GPU Blackwell zastosowanego w DGX Spark firmy Nvidia, AXNeutron to architektura przetwarzania neuronowego zaprojektowana specjalnie do tego celu. Według Axery wykorzystuje ona programowalny przepływ danych zoptymalizowany pod kątem wnioskowania AI. Firma twierdzi, że takie podejście poprawia wykorzystanie sprzętu i ogranicza zbędne przesyłanie danych, co może zapewniać korzyści podczas uruchamiania modeli językowych opartych na architekturze Transformer.

Axera ujawniła jednak stosunkowo niewiele informacji o sprzętowej budowie NPU. Dlatego trudno określić, jaka część deklarowanej wydajności wynika z ulepszeń architektury, przepustowości pamięci czy optymalizacji na poziomie oprogramowania. Reklamowane 256 TOPS robi wrażenie na papierze, ale mówi nam stosunkowo niewiele o wydajności utrzymywanej podczas długotrwałej pracy z rzeczywistymi obciążeniami.

Sipeed (tak, wiem), które opracowuje MaixStation z układem AX8860P, twierdzi, że jego implementacja może przewyższać DGX Spark firmy Nvidia w wybranych testach wydajności wnioskowania LLM. Firma przypisuje te wyniki częściowo natywnej akceleracji gęstych obliczeń FP4 w AX8860P oraz efektywniejszemu wykorzystaniu dostępnej przepustowości pamięci. Ponadto testy Sipeed pochodzą od producenta i obejmują konkretne modele oraz konfiguracje wnioskowania. Bez niezależnych testów z użyciem identycznych modeli, ustawień kwantyzacji i środowisk programowych nie da się ustalić, czy AX8860P konsekwentnie przewyższa DGX Spark.

Wsparcie programowe obejmuje zgodność z popularnymi frameworkami AI, w tym PyTorch, vLLM i SGLang, ale zgodność niekoniecznie przekłada się na równoważną wydajność, obsługę funkcji czy łatwość wdrożenia.

Sipeed planuje oferować MaixStation z 32 GB i 128 GB pamięci LPDDR5X. Firma celuje w ceny poniżej odpowiednio 2000 i 4000 dolarów, a kampania na Kickstarterze ma ruszyć pod koniec 2026 roku. Radxa również opracowuje Pocket Supercomputer z układem AX8860P, natomiast Sipeed przedstawiło plany konfiguracji akceleratorów z wieloma układami.