Apple pierwszy publiczny LLM nosi nazwę Ferret i jest napędzany przez 8 procesorów graficznych Nivida A100

Apple po cichu opublikował swój pierwszy multimodalny Large Language Model (LLM) AI jako projekt open source, który nazwał Ferret. Apple Nowa sztuczna inteligencja Ferret została zaprezentowana w październiku przez badacza sztucznej inteligencji Zhe Gan za pośrednictwem X/Twitter X/Twitter, ale do tej pory pozostawała w dużej mierze niezauważona. Ferret została opracowana wspólnie przez Gana i jego kolegów z Apple, wraz z naukowcami z Uniwersytetu Columbia. Według Gana, Ferret jest bardziej precyzyjny w rozumieniu małych regionów obrazu i opisywaniu ich niż GPT-4 OpenAI, jednocześnie wytwarzając mniej halucynacji (błędów).

Co ciekawe, repozytorium Apple Github ujawnia, że firma trenowała Ferret przy użyciu 8 wysokiej klasy procesorów graficznych Nvidia A100 wyposażonych w 80 GB pamięci RAM HBM2e. A100 to najbardziej pożądany procesor graficzny na rynku po eksplozji technologii generatywnej sztucznej inteligencji, która po uruchomieniu ChatGPT firmy OpenAI pod koniec ubiegłego roku. Jest on zdolny do 312 TeraFLOPS przy precyzji Tensor Float 32, a model o pojemności 80 GB wykorzystywany przez Apple do trenowania Ferret zapewnia przepustowość do 2039 GB/s. Firma nie ujawnia jednak tematyki, której użyła do wytrenowania nowego modelu.

Podczas gdy Apple jest wciąż na stosunkowo wczesnym etapie swojej podróży generatywnej sztucznej inteligencji z Ferretem, celem będzie uzyskanie modelu takiego jak Ferret działającego efektywnie na smartfonie. Uważa się, że GPT4 OpenAI ma ponad 1 bilion parametrów, ale telefony komórkowe mogą obecnie obsługiwać tylko LLM z około 10 miliardami parametrów. W tym celu, Apple naukowcy również dokonali ostatnio przełomu demonstrując, jak uzupełnić pamięć RAM smartfona o wbudowaną pamięć flash, aby wcisnąć większe modele, niż byłoby to możliwe do uruchomienia na urządzeniu.