Nowy system MIT pozwala małym modelom sztucznej inteligencji przewyższać gigantów w złożonych zadaniach

Podczas gdy duże modele językowe doskonale radzą sobie z kreatywnym pisaniem i podstawową matematyką, często potykają się w obliczu złożonych, skomplikowanych zadań, takich jak Sudoku lub ścisłe planowanie trasy. Aby wypełnić tę lukę, zespół naukowców z MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) - kierowany przez Gabriela Granda - wprowadził nowy system o nazwie DisCIPL (Distributional Constraints by Inference Programming with Language Models).

Struktura ta działa w oparciu o hierarchię menedżer-pracownik. Duży model "szefa" najpierw działa jako planista, opracowując strategię rozwiązania żądania użytkownika. Następnie przypisuje określone elementy zadania do mniejszych, bardziej wydajnych modeli "podążających".

Aby upewnić się, że zespół pozostaje na dobrej drodze, szef przekazuje instrukcje za pomocą LLaMPPL, specjalistycznego języka programowania zaprojektowanego do kierowania modeli w kierunku precyzyjnych wyników. Jeśli model podążający odbiega od ograniczeń - na przykład używając niewłaściwego sformułowania w wierszu strukturalnym - model główny wkracza, aby go poprawić.

Podejście to przyniosło imponujące rezultaty. Zgodnie z raportem badaczy, w testach obejmujących zadania takie jak pisanie wniosków o dotacje lub budżetowanie list artykułów spożywczych, system DisCIPL generował dokładniejsze odpowiedzi niż GPT-4o firmy OpenAI i dorównywał precyzją wyspecjalizowanemu modelowi rozumowania o1. Co ważniejsze, robił to ze znacznie większą wydajnością. Odciążając mniejsze modele, system skrócił czas rozumowania o około 40% i obniżył koszty o ponad 80% w porównaniu z konkurencją.

Zespół uważa, że metoda ta oferuje zrównoważoną ścieżkę rozwoju dla sztucznej inteligencji, udowadniając, że koordynowanie mniejszych modeli może być znacznie bardziej skuteczne - i energooszczędne - niż poleganie wyłącznie na masywnych, energochłonnych systemach.