SEAL pokazuje, jak sztuczna inteligencja może nieustannie myśleć i ewoluować

Sztuczna inteligencja staje się coraz bardziej wszechstronna - generuje obrazy, pisze wiersze i tworzy aplikacje. Pozostaje jednak jedno kluczowe ograniczenie: dzisiejsze systemy mają trudności z prawdziwą ewolucją poza początkowe programowanie. Właśnie w tym miejscu pojawia się nowa koncepcja opracowana przez Massachusetts Institute of Technology (MIT). Nazywany SEAL, czyli Self-Adapting Language Models, framework ten pozwala dużym modelom językowym zachowywać się bardziej jak uczące się istoty. SEAL pozwala im przetwarzać nowe informacje, generować własne spostrzeżenia i aktualizować swoją wiedzę w czasie rzeczywistym - bez polegania na zewnętrznych zbiorach danych lub rozległej interwencji programisty. Artykuł badawczy został opublikowany 12 czerwca na stronie arXiv.

Ciągłe uczenie się bez interwencji programisty

"Zwłaszcza w firmach nie wystarczy po prostu pobierać dane - systemy muszą być w stanie stale się dostosowywać" - mówi doktorant MIT Jyothish Pari. SEAL został zaprojektowany właśnie w tym celu, wykorzystując ciągły dwuetapowy proces. Po pierwsze, sztuczna inteligencja podsumowuje nowe informacje, generuje odpowiednie przykłady i dostosowuje swoje wewnętrzne ustawienia. Zmiany te określane są mianem "autoedycji"

Następnie system natychmiast poddaje swoje autoedycje testowi: przechodzi krótkie ponowne szkolenie z nowymi dostosowaniami i jest oceniany, aby sprawdzić, czy jego odpowiedzi rzeczywiście się poprawiły. SEAL zachowuje zmiany tylko wtedy, gdy wyniki pokazują wyraźny wzrost wydajności. Testy porównawcze potwierdzają skuteczność tej metody: w quizie pytań i odpowiedzi bez tekstu pomocniczego dokładność modelu Qwen 2.5-7B wzrasta z 33,5% do 47%. W trudniejszych łamigłówkach ARC - zadaniach logicznych z Abstraction & Reasoning Corpus - wydajność wzrasta nawet do 72,5%, co stanowi ponad trzykrotność pierwotnego wyniku modelu.

Dzięki temu cyklowi SEAL zachowuje się niemal jak myśląca istota: za każdym razem, gdy pojawiają się nowe fakty lub pytania, model "zastanawia się" nad tym, co ma znaczenie, generuje własne przykłady i dostosowuje ustawienia, aby lepiej zastosować to, czego się nauczył. Ponieważ proces ten przebiega w sposób ciągły, sztuczna inteligencja zawsze się uczy. Nie polega już na osobnym dostrajaniu przez programistę, ale zamiast tego wykorzystuje przychodzące teksty jako materiał szkoleniowy - generując własne dane w locie.

SEAL odblokowuje kilka możliwości jednocześnie. W przyszłości chatboty mogłyby naturalnie dostosowywać się do osobistych preferencji użytkowników bez konieczności wysyłania wrażliwych danych na zewnętrzne serwery. Narzędzia rozwojowe i badawcze mogłyby również ewoluować bardziej niezależnie - dostosowując się do zmieniających się wymagań projektowych bez konieczności ponownego szkolenia za każdym razem. A nawet jeśli publicznie dostępne dane tekstowe staną się niewystarczające, SEAL może generować własny materiał szkoleniowy poprzez samodzielnie tworzone przykłady, oferując inteligentny sposób na ominięcie potencjalnych niedoborów danych.

Duży potencjał, ale nie bez przeszkód

Chociaż SEAL niesie ze sobą znaczące nadzieje na postęp w rozwoju sztucznej inteligencji, naukowcy wskazują na trzy główne wyzwania:

• Po pierwsze, istnieje kwestia katastrofalnego zapominania: w miarę jak model stale integruje nowe autoedycje, jego zdolność do wykonywania wcześniejszych zadań stopniowo spada. Badanie pokazuje już wczesne oznaki tego efektu.
• Po drugie, koszt obliczeniowy jest znaczny, ponieważ każda samodzielna edycja wymaga krótkiego etapu dostrajania. Według badania, pełny cykl zajmuje od 30 do 45 sekund, znacznie zwiększając koszty operacyjne uruchamiania dużych modeli.
• Po trzecie, weryfikacja dokładności samodzielnych edycji pozostaje wyzwaniem. Testy wydajnościowe oceniają przede wszystkim, jak przekonująco brzmi odpowiedź, a nie czy jest ona rzeczywiście poprawna. Użytkownicy na Reddit już zgłosili obawy, że system może zaakceptować wiarygodnie brzmiące, ale nieprawidłowe samodzielne poprawki jako ulepszenia - a następnie trwale zinternalizować te błędy.