Twórca oprogramowania obejrzał ograniczenia gry „ Apple ”, aby uwolnić prawdziwy potencjał sztucznej inteligencji w modelu M4

Apple's M4 oferują kilka przydatnych AI , jednak firma od dawna ściśle ograniczała dostęp do tego sprzętu. Domyślnie silnik Neural Engine w procesorze M4 jest przeznaczony wyłącznie do wnioskowania. Oznacza to, że programiści mogą go wykorzystywać jedynie do uruchamiania wstępnie wytrenowanych modeli sztucznej inteligencji, a nie do faktycznego trenowania nowych modeli od podstaw.

Jednak jednemu z programistów udało się ominąć te surowe ograniczenia programowe, przeprowadzając pełną inżynierię odwrotną układu, aby uwolnić 15,8 TFLOPS ukrytej mocy obliczeniowej AI. Przełom ten jest zasługą badacza znanego jako 0x0SojalSec, który niedawno udostępnił kod na GitHub , w którym szczegółowo opisał, w jaki sposób wykorzystał prawdziwy potencjał procesora M4. To, co sprawia, że osiągnięcie to jest szczególnie imponujące, to fakt, iż zostało ono zrealizowane całkowicie poza oficjalnym ekosystemem programistycznym firmy Apple.

Ponieważ platforma „ Apple ” nie przyznaje uprawnień niezbędnych do bezpośredniej komunikacji z silnikiem Neural Engine w przypadku tych zaawansowanych zadań, programista musiał znaleźć sposób na pracę bez korzystania ze standardowych narzędzi, takich jak CoreML czy Metal, a nawet bez angażowania procesora graficznego. Aby to osiągnąć, stworzył od podstaw niestandardowy język pośredni modeli (Model Intermediate Language). To niestandardowe oprogramowanie z powodzeniem wypełniło lukę, umożliwiając pełną propagację wsteczną oraz szkolenie modeli transformatorowych bezpośrednio na silniku Neural Engine w urządzeniu „ Apple ”.

Ponieważ sprzęt jest z założenia poddany znacznym ograniczeniom, programista musiał również zastosować kilka bardzo pomysłowych rozwiązań, aby zapewnić stabilność systemu. Na przykład, jeśli proces utknie podczas intensywnej fazy uczenia, niestandardowy język wykorzystuje specjalne polecenie wykonawcze, aby w zasadzie ponownie uruchomić ten proces. Pozwala to systemowi odświeżyć swój aktualny stan i natychmiast wznowić uczenie maszynowe bez powodowania awarii całego programu.

Szybkość była również kluczowym czynnikiem zapewniającym efektywne działanie tego obciążającego systemu zadania. Aby zapewnić jak najpłynniejszy przebieg szkolenia, programista skonfigurował proces tak, by zapisywał wszystkie dane wyłącznie w pamięci RAM systemu. Dzięki aktywnemu unikaniu znacznie wolniejszej pamięci flash NAND cała operacja przebiegała niezwykle szybko. Dla wszystkich użytkowników konsoli M4 , to fascynujące obejście dowodzi, że układ scalony jest w pełni zdolny do obsługi obciążeń związanych ze szkoleniem AI, nawet jeśli Apple oficjalnie woli te konkretne możliwości utrzymywać w tajemnicy.