Talaas HC1: Wydajny chip pokonuje każdy układ GPU w lokalnej akceleracji sztucznej inteligencji

W branży technologicznej, zwłaszcza w projektowaniu procesorów, można osiągnąć pewną równowagę między uniwersalnością a wydajnością. Chociaż układy lub systemy komputerowe mogą być budowane tak, aby oferować uniwersalność, a tym samym wykonywać szeroką gamę zadań, zwykle możliwe jest również projektowanie i optymalizacja systemów pod kątem wysoce specyficznych zastosowań. W przypadku chipu komputerowego, cała jego architektura może być zaprojektowana wokół zdefiniowanych typów danych, bez żadnych mechanizmów obsługi specjalnych przypadków. Koncepcja ta może brzmieć znajomo dla niektórych z Państwa: Na przykład w kopaniu kryptowalut procesory CPU i GPU ogólnego przeznaczenia zostały w dużej mierze zastąpione przez układy ASIC, które są niezwykle wydajne w swoim pojedynczym zadaniu, ale nie nadają się do niczego innego.

Podobna sytuacja ma miejsce w przypadku akceleracji sztucznej inteligencji. Procesory ze zintegrowanymi jednostkami NPU dotarły już na rynek konsumencki. Firma Taalas wprowadziła niedawno HC1, układ nie zaprojektowany do akceleracji dowolnego modelu sztucznej inteligencji, ale bardzo konkretnego: stosunkowo małej Llamy 3.1 8B. Pomimo jego specjalizacji możliwy jest pewien stopień dostrojenia. Według Taalas, chip może osiągnąć 16 960 tokenów na sekundę, w przeciwieństwie do 353 tokenów na sekundę dostarczanych przez Nvidia B200. W porównaniu do Cerebras WSE-3, HC1 oferuje podobno dziesięciokrotnie wyższą wydajność przy jednoczesnym mniejszym zużyciu energii - nie wspominając o tym, że kosztuje około 20 razy mniej. Ceny i dostępność nie zostały jeszcze ogłoszone.