Moonshot AI wypuszcza Kimi K2: darmowy, inteligentniejszy rywal DeepSeek

Firma Moonshot AI udostępniła Kimi K2, duży model językowy sztucznej inteligencji, za darmo na zmodyfikowanej licencji MIT https://github.com/MoonshotAI/Kimi-K2/blob/main/LICENSE. LLM natychmiast znalazł się w pierwszej dziesiątce najpotężniejszych modeli AI na świecie w rankingu LMSys text arena leaderboard. Kimi K2 uzyskał wyższy wynik niż DeepSeek, inna darmowa sztuczna inteligencja, która zyskała światową uwagę dzięki swojej mocy i bezpłatnej licencji, gdy została wydana pod koniec 2024 roku wydana pod koniec 2024 roku.

Kimi K2 to model mieszanki ekspertów (MoE) o wartości jednego biliona parametrów (1T) z oknem kontekstowym 128K i 384 ekspertami korzystającymi z podzbioru 32 miliardów aktywowanych parametrów. Sztuczna inteligencja została opracowana do użytku w agentach AI specjalizujących się w autonomicznym rozwiązywaniu problemów, rozumowaniu i korzystaniu z narzędzi, co pozwala na jej wykorzystanie w rozwiązywaniu złożonych zadań i poszukiwaniu odpowiedzi na problemy biznesowe wysokiego poziomu.

Ze względu na ograniczone dane treningowe dotyczące korzystania z narzędzi w świecie rzeczywistym, Kimi K2 została przeszkolona przy użyciu kombinacji rzeczywistych i symulowanych środowisk. Dodatkowo, trening AI wykorzystywał mechanizm samooceny, pozwalając jej na samodzielne określenie, czy ukończone przez nią zadania zostały wykonane odpowiednio, czy też nie podczas treningu. Optymalizator MuonClip został opracowany w celu rozwiązania problemu stabilności treningu występującego w optymalizatorze Muon dla sieci neuronowych https://kellerjordan.github.io/posts/muon/dzięki czemu Kimi K2 może szybko zostać wstępnie wytrenowana na tokenach 15.5T.

Czytelnicy zainteresowani opracowaniem Kimi K2 do użytku biznesowego będą potrzebować co najmniej 1 TB pamięci masowej na model i klastra co najmniej 16 procesorów graficznych Nvidia H20 /H200 przed pobraniem go za darmo z Hugging Face. Użytkownicy domowi mogą z łatwością uruchomić destylowane wersje DeepSeek na procesorach graficznych Nvidia z 12 GB lub więcej pamięci, takich jak ta karta na Amazon, czekając na destylowane wersje Kimi K2.

Konsumenci mogą rozmawiać z chatbotem Kimi za darmo tutaja twórcy oprogramowania mogą płacić za korzystanie z Kimi za pośrednictwem jego API tutaj.