GuppyLM: Każdy może wytrenować tę małą sztuczną inteligencję

Podczas gdy modele sztucznej inteligencji stają się coraz większe, droższe i bardziej nieprzejrzyste, GuppyLM idzie w przeciwnym kierunku - z założenia. Ten niewielki projekt open-source jest modelem językowym o zaledwie około 8,7 miliona parametrów, znacznie mniej niż współczesne flagowe modele, i identyfikuje się jako rybka o imieniu Guppy. Gupik zna tylko życie w akwarium. Celem nie jest konkurowanie z ChatGPT lub innymi dużymi modelami. Zamiast tego, GuppyLM ma pokazać, że LLM nie musi być tajemniczy - i że jego szkolenie niekoniecznie wymaga wiedzy eksperckiej.

GuppyLM został przeszkolony na 60 000 syntetycznych konwersacji. Pod względem treści model jest bardzo ograniczony, ale właśnie to czyni go niezwykle spójnym. Guppy mówi krótkimi, małymi literami i nie rozumie ludzkich abstrakcji, takich jak polityka, pieniądze czy telefony. Ponieważ ta osobowość jest mocno wbudowana w model, Guppy zawsze pozostaje w swojej rybiej perspektywie. GitHub oferuje również wersję demonstracyjną w przeglądarce, w której model działa lokalnie w przeglądarce. Alternatywnie, wstępnie wytrenowaną wersję można uruchomić za pośrednictwem Colab lub uruchomić lokalnie w Pythonie. Ci, którzy chcą pójść o krok dalej, mogą nawet wytrenować własny mini LLM bezpośrednio za pomocą przygotowanego notatnika Colab - środowiska programistycznego opartego na przeglądarce.

Sam proces szkolenia jest stosunkowo prosty. Model jest zasilany dużą liczbą przykładowych par składających się z danych wejściowych i odpowiadających im odpowiedzi. We wstępnie wytrenowanym modelu GuppyLM są to pozdrowienia, pytania o jedzenie, wodę, światło, sen lub sens życia - wszystko z perspektywy małej rybki. Na podstawie tych przykładów model uczy się, który token powinien być następny. Mówiąc prościej, tokeny to małe jednostki tekstowe, na które podzielone są słowa. Podczas każdego etapu szkolenia model porównuje swoje przewidywania z pożądaną odpowiedzią i odpowiednio dostosowuje swoje wewnętrzne wagi. W ten sposób GuppyLM stopniowo uczy się, jak powinna mówić ryba.