Chiny prezentują SpikingBrain 1.0, inspirowany mózgiem LLM działający na krajowych układach MetaX

Instytut Automatyki Chińskiej Akademii Nauk w Pekinie zaprezentował niedawno na stronie https://www.scmp.com/news/china/science/article/3324851/brain-ai-said-run-100-times-faster-ultra-long-tasks-using-chinese-chips swój najnowszy duży model językowy SpikingBrain 1.0. Ten LLM jest uważany za pierwszy na świecie LLM "podobny do mózgu", zaprojektowany tak, aby zużywał znacznie mniej energii niż konwencjonalne systemy sztucznej inteligencji, takie jak ChatGPT. Zamiast polegać na sprzęcie Nvidii, działa on w całości na chińskich chipach MetaX, co stanowi znaczący postęp w obliczeniach neuromorficznych.

System wykorzystuje technologię "obliczeń skokowych", która naśladuje wzorce wypalania neuronów w ludzkim mózgu. Technologia ta umożliwia aktywację tylko niezbędnych neuronów, a nie całej sieci, jak w tradycyjnych modelach. To podejście oparte na zdarzeniach zapewnia również energooszczędność systemu, zmniejszając zużycie energii. System może również uczyć się na podstawie zaledwie dwóch procent wymaganych danych szkoleniowych w porównaniu z konwencjonalnymi systemami. Opracowano dwie wersje: jedną z 7 miliardami, a drugą z 76 miliardami parametrów.

Naukowcy donoszą o nawet 100-krotnie wyższej wydajności w porównaniu z tradycyjnymi modelami w niektórych zadaniach, przy czym mniejszy model reaguje na zapytanie o 4 miliony tokenów co najmniej 100 razy szybciej niż standardowe systemy. Dodatkowo, uzyskano 26,5-krotną poprawę szybkości w porównaniu z konwencjonalnymi architekturami Transformer dla pierwszego generowania tokenów. Nowy model został wytrenowany na około 150 miliardach tokenów, co stanowi zaledwie ułamek typowych wymagań dla konwencjonalnych systemów. Pomimo tak ograniczonej ilości danych treningowych, system nadal radzi sobie porównywalnie dobrze z innymi popularnymi alternatywami open source.

Nowy system ma strategiczne znaczenie dla Chin, biorąc pod uwagę, że LLM działa całkowicie w ramach chińskiego ekosystemu sztucznej inteligencji, wykorzystując platformę chipową MetaX. Staje się to szczególnie ważne, gdy Stany Zjednoczone zaostrzają kontrolę eksportu zaawansowanych chipów AI. Badania pokazują również, że możliwe jest trenowanie wydajnego dużego modelu na platformach innych niż Nvidia. Główny badacz Li Guoqi podkreśla również optymalizację dla chińskiej architektury chipów. Potencjalne zastosowania takich systemów obejmują dokumenty prawne, dokumentację medyczną, a nawet symulacje naukowe.

Zespół udostępnił mniejszą wersję modelu do publicznego dostępu, a większa wersja jest dostępna tylko online do publicznego testowania za pośrednictwem strony demonstracyjnej. Badania zostały również opublikowane jako nierecenzowany artykuł w repozytorium arXiv, więc najlepiej traktować wszystkie te twierdzenia z przymrużeniem oka. Niemniej jednak, przełom ten może utorować drogę dla bardziej energooszczędnych systemów sztucznej inteligencji i ulepszyć podejścia do obliczeń inspirowanych mózgiem.