Tiiny AI Pocket Lab: Mini PC z 12-rdzeniowym procesorem ARM i 80 GB pamięci LPDDR5X zaprezentowany przed targami CES
Tiiny Lab to amerykański startup https://tiiny.ai który wydaje się specjalizować w sprzęcie przeznaczonym dla osobistych LLM. Ich najnowszy produkt, nazwany Pocket Lab, to wejście na terytorium mini PC. Trafnie nazwany mini PC jest niezwykle kompaktowy i może pochwalić się naprawdę potężnym sprzętem, który może uruchamiać LLM z nawet 120 miliardami parametrów, co jest dość imponującym twierdzeniem.
12-rdzeniowy procesor ARM z dNPU dla 160 + 30 TOPS obliczeń AI
Co ciekawe, Tiiny AI twierdzi, że Pocket Lab mini PC został uznany przez Guinness World Records za "najmniejszy na świecie mini PC" w kategorii 100B LLM Local, co, szczerze mówiąc, wydaje się być dziwnie specyficzne. Niezależnie od tego, nie ma wątpliwości, że Pocket Lab mini PC jest niezwykle kompaktowy, o wymiarach zaledwie 14,2 x 8 x 2,5 cm lub 5,6 x 3,15 x 1 cal. Ważący zaledwie 300 gramów system jest również dość lekki.
Tiiny AI twierdzi ponadto, że instalacja jednym kliknięciem dla dobrze znanych modeli open-source, takich jak Llama, Qwen, DeepSeekmistral, Phi i OpenAI GPT-OSS. Aktualizacje oprogramowania OTA będą dostarczane regularnie, co brzmi obiecująco. Ale oczywiście to, czy obietnice te zostaną dotrzymane, dopiero się okaże. Pod względem sprzętowym, Pocket Lab mini PC ma całkiem niezłe możliwości, jak opisano poniżej:
- 12-rdzeniowy procesor ARM oparty na ARMv9.2
- NPU z 160 TOPS
- 80 GB pamięci LPDDR5X, z czego 48 GB dedykowane jest NPU
- dYSK SSD O POJEMNOŚCI 1 TB
- 65-watowa koperta mocy
- Praca w trybie offline
Tiiny AI twierdzi, że Pocket Lab może obsługiwać LLM z maksymalnie 120 miliardami parametrów, chociaż poziomy kwantyzacji nie zostały wyraźnie określone. Szczegóły dotyczące cen również pozostają na razie tajemnicą, ale nie ma wątpliwości, że minikomputer Pocket Lab będzie kosztował sporo grosza. Nawet przy agresywnej 4-bitowej kwantyzacji, uruchomienie modelu o 120 miliardach parametrów wydaje się nieco zbyt daleko idące dla systemu z zaledwie 80 GB całkowitej pamięci. Oczywiście ostateczne wyniki trzeba jeszcze zobaczyć w prawdziwym życiu.
Dla zwykłych użytkowników, którzy nie potrzebują lokalnych LLM i mają umiarkowane wymagania dotyczące wydajności, typowy mini PC, taki jak Minisforum AI X1 Pro (obecnie 1087,90 USD na Amazon), będzie prawdopodobnie lepszym wyborem.
Źródło(a)
Tiiny AI, zauważone przez TechPowerUp
