LLM-8850: Karta rozszerzeń zmienia Raspberry Pi 5 w lokalną platformę AI

Modele AI oparte na chmurze są dość wygodne dla typowych użytkowników. Jednak niektóre przypadki użycia mogą wymagać uruchomienia tych modeli lokalnie w celu zapewnienia prywatności danych lub obejścia powolnego lub nieistniejącego połączenia internetowego. To powiedziawszy, pewna wydajność jest potrzebna do uruchamiania dużych modeli językowych, a nawet analizy wideo wspomaganej przez sztuczną inteligencję. Ta ostatnia może być przydatna na przykład do liczenia osób przechodzących przez wejście do budynku.

Dzięki M5Stack LLM-8850na rynek trafiła kolejna karta rozszerzeń, która przyspiesza działanie tych właśnie aplikacji AI. Jest ona zasilana przez SoC Axera AX8550 z czterema rdzeniami Cortex-A55 i NPU o wydajności 24 TOP. Dla porównania, jednostki NPU zintegrowane z nowoczesnymi procesorami AMD i Intel oferują około dwa razy większą wydajność. Na pokładzie znajduje się również jednostka VPU, która może jednocześnie dekodować do 16 strumieni wideo w rozdzielczości Full HD. Na płycie znalazło się również 8 GB pamięci RAM oraz radiator i wentylator.

Karta podłączana jest za pomocą gniazda M.2 Key M i wykorzystuje dwa tory PCIe 2.0. Płyta ma wymiary 1,68 x 0,94 x 0,38 cala i jest kompatybilna z Raspberry Pi 5 i innymi komputerami jednopłytkowymi, a nawet mini PC, a także różnymi frameworkami AI. Wreszcie, M5Stack LLM-8850 jest oficjalnie wyceniony na 99 USD, ale mogą obowiązywać dodatkowe opłaty za wysyłkę i import.