Tencent prezentuje cztery kompaktowe modele Hunyuan open-source o parametrach 0.5B, 1.8B, 4B i 7B

Firma Tencent opublikowała na stronie https://news.mydrivers.com/1/1066/1066161.htm nowy zestaw kompaktowych modeli Hunyuan: 0.5 miliardów, 1,8 miliarda, 4 miliardy i 7 miliardów parametrów; są one przeznaczone do wdrożeń o niskim poborze mocy i brzegowych. Wszystkie cztery konfiguracje są już dostępne na GitHub i Hugging Face, a każda z nich może uruchamiać wnioskowanie na pojedynczej karcie graficznej klasy konsumenckiej, dzięki czemu nadają się do laptopów, smartfonów, systemów inteligentnych kabin i innego sprzętu o ograniczonych zasobach.

Pomimo swoich niewielkich rozmiarów, modele osiągają wiodące wyniki w zakresie rozumienia języka, matematyki i rozumowania w kilku publicznych testach porównawczych. Tencent przypisuje te wyniki architekturze "rozumowania fuzyjnego", która pozwala użytkownikom wybierać między trybem szybkiego myślenia dla zwięzłych odpowiedzi i trybem wolnego myślenia dla bardziej złożonego, wieloetapowego rozumowania.

Kluczową cechą techniczną jest natywne okno kontekstowe 256K tokenów, które wystarcza do pozyskania około 500 000 angielskich słów w jednym przejściu. Tencent zwraca uwagę na wewnętrzne aplikacje, takie jak Tencent Meeting i WeChat Reading, w których modele mogą analizować całą transkrypcję spotkania lub pełnowymiarową książkę naraz, zachowując relacje między postaciami i szczegóły fabuły dla dalszych zapytań.

Cztery kompaktowe LLM integrują się z głównymi frameworkami wnioskowania, w tym SGLang, vLLM i TensorRT-LLM, i obsługują wiele formatów kwantyzacji. Wstępne poparcie ze strony firm Arm, Qualcomm, Intel i MediaTek wskazuje na nadchodzące pakiety wdrożeniowe zoptymalizowane pod kątem odpowiednich procesorów klienckich.

Wczesne przypadki użycia podkreślają praktyczny charakter tego wydania. Tencent Mobile Manager zgłasza przechwytywanie spamu na poziomie milisekund bez przesyłania danych poza urządzenie. Jednocześnie schemat dwóch modeli w inteligentnym asystencie kabinowym Tencent równoważy zużycie energii na pokładzie z głębokością konwersacji. Przykłady te, jak twierdzi Tencent, pokazują, że małe modele mogą zapewnić możliwości agenta klasy korporacyjnej, jeśli zostaną starannie zaprojektowane.