Sztuczna inteligencja bez chmury: ten model językowy zmieści się teraz na Państwa iPhonie

Duże modele językowe zazwyczaj wymagają centrum danych lub przynajmniej wydajnego komputera osobistego z dużą ilością pamięci. Amerykański startup PrismML, założony przez naukowców z Caltech i finansowany między innymi przez Google oraz Khosla Ventures, zaprezentował 14 lipca model „ ” Bonsai 27B – model sztucznej inteligencji zawierający 27 miliardów parametrów, którego najmniejsza wersja zajmuje zaledwie 3,9 GB. Po raz pierwszy model tej klasy mieści się w pamięci telefonu iPhone’a 17 Pro. Nasz przewodnik Sztuczna inteligencja bez chmury pokazuje, jak skonfigurować model językowy na własnym komputerze.

Zmniejszenie rozmiaru z 54 GB do poniżej 4 GB

Model opiera się na otwartym oprogramowaniu Qwen3.6 27B firmy Alibaba, które przy pełnej precyzji zajmuje około 54 GB. PrismML przechowuje każdą wagę sieci neuronowej przy użyciu 1–2 bitów zamiast standardowych 16. W rezultacie powstały dwie wersje: wersja trójbitowa o nominalnej wielkości 5,9 GB przeznaczona dla laptopów oraz wersja 1-bitowa o wielkości 3,9 GB przeznaczona dla telefonów. Według producenta wersja dla laptopów zachowuje 95 procent pierwotnej wydajności w 15 testach porównawczych, natomiast wersja dla telefonów – 90 procent. Nie ma to praktycznie żadnego wpływu na obliczenia matematyczne i programowanie. Wagi są swobodnie dostępne na licencji Apache 2.0 i działają za pośrednictwem frameworka MLX firmy Apple na urządzeniach iPhone, iPad i Mac, a także za pośrednictwem CUDA na kartach graficznych NVIDIA.

Możliwości iPhone’a i granice jego możliwości

Zgodnie z dokumentem technicznym wersja o rozmiarze 3,9 GB generuje około 11 tokenów na sekundę na iPhone’a 17 Pro Max (dostępny na Amazon). Pełne naładowanie baterii wystarcza na około 67 000 tokenów. Po nieco ponad pięciu minutach ciągłej pracy procesor ogranicza wydajność. Jednak wyniki testów porównawczych pochodzą od samego producenta. Z jego własnej tabeli wynikają największe niedociągnięcia w zakresie rozumienia obrazów i korzystania z narzędzi – a są to właśnie obszary, w których agenci AI muszą osiągać doskonałe wyniki. Ponadto rzeczywiste rozmiary plików do pobrania dla wersji na laptopa wynoszą od 7,2 do 8,5 GB w zależności od środowiska uruchomieniowego, co znacznie przewyższa podane w reklamie wartości. Nie ma jeszcze gotowej aplikacji dla zwykłych użytkowników. Na razie grupą docelową są programiści i pasjonaci technologii. Każdy, kto chce po prostu wypróbować ten model, może znaleźć wersję demonstracyjną działającą w przeglądarce na stronie na stronie Hugging Face.

Firma Apple już przygląda się tej technologii

Babak Hassibi, dyrektor generalny PrismML, poinformował serwis CNBC , że Apple i inne firmy testują obecnie te modele pod kątem szybkości, zużycia energii i wydajności. Opisał te rozmowy jako znajdujące się na bardzo wczesnym etapie. Dla użytkowników najważniejszy jest kierunek rozwoju: im więcej zadań związanych ze sztuczną inteligencją jest wykonywanych bezpośrednio na urządzeniu, tym mniej danych osobowych trafia do chmury. Pisaliśmy już szczegółowo o o tym, co sztuczna inteligencja potajemnie przechowuje i jak można temu zapobiec.