Nvidia RTX 5090 działa na macOS z nowym niestandardowym sterownikiem od Tiny Corp

Apple firmy Nvidia zakończyły współpracę wiele lat temu, pozostawiając użytkowników komputerów Mac bez oficjalnego wsparcia dla GPU. To rozwiązanie skutecznie uśmierciło CUDA na platformie i zmusiło deweloperów i badaczy do stworzenia Apple własnego frameworka Metal. Jednak nowy sterownik open-source od Tiny Corp w końcu uporządkował tę kwestię, przywracając sprzęt Nvidia Blackwell do ekosystemu macOS.

Projekt wykorzystuje niestandardowe rozszerzenie jądra o nazwie Tiny GPU. Umożliwia ono zewnętrznym procesorom graficznym, takim jak RTX 5090, bezpośrednie połączenie z komputerami Mac Apple Silicon za pośrednictwem Thunderbolt 5 lub USB4. Samo w sobie jest to duży skok techniczny, ponieważ całkowicie eliminuje potrzebę stosowania maszyn wirtualnych. W demonstracji przeprowadzonej przez Alexa Ziskinda, karta RTX 5090 z 32 GB pamięci VRAM została pomyślnie sparowana z komputerem Mac Mini M4 Pro (obecnie. 1399 USD na Amazon za wariant 24 GB/512 GB, tutaj znajdą Państwo naszą szczegółową recenzję).

Chociaż połączenie jest stabilne, obecny stos oprogramowania jest na wczesnym etapie. Sterownik opiera się na kompilatorze Tiny Grad, a nie na natywnych optymalizacjach Metal lub CUDA. Tworzy to lukę w wydajności podczas ciężkich zadań obliczeniowych. Podczas uruchamiania modelu Llama 3.1 8Bkonfiguracja osiągnęła około 7,48 tokenów na sekundę. Chociaż jest to duża wygrana pod względem kompatybilności, nadal jest wolniejsza niż natywna Llama CPP na Metal, jak mówi Alex, która jest prawie dziesięć razy szybsza na równoważnym sprzęcie.

Niezależnie od tego, prawdziwą wartością tego projektu jest jego potencjał do przyszłej optymalizacji. Obecnym wąskim gardłem nie jest kabel Thunderbolt 5, który sprawnie radzi sobie z transferem masy modelu, ale wydajność automatycznie generowanych jąder. W przypadku prostych interfejsów czatu, konfiguracja Blackwell jest szybka, zapewniając czas do pierwszego tokena, który jest trzy do czterech razy szybszy niż natywne rozwiązania Metal.

Proces instalacji obejmuje zatwierdzenie rozszerzenia systemu i uruchomienie potoku kompilatora opartego na Dockerze. Oczywiście nie jest to (jeszcze) zamiennik dla usprawnionych przepływów pracy Metal, ale mimo to jest to pierwszy funkcjonalny od lat.