Od danych do złudzeń: Jak halucynacje AI faktycznie się zdarzają

Co to jest halucynacja? W każdym razie w kategoriach sztucznej inteligencji

Sprawa wygląda tak. Pytają Państwo o coś swojego chatbota. Udziela odpowiedzi, która brzmi mądrze, używa wszystkich właściwych słów, a nawet wrzuca cytat lub dwa. Następnie sprawdzasz to i okazuje się, że to kompletna fikcja.

Witamy w cudownym świecie halucynacji AI.

To nie jest błąd. To nie pana wina. I nie, SI nie "próbuje kłamać" Po prostu... robi to, do czego została zaprojektowana: łączy słowa, które statystycznie wydają się pasować do siebie. To wszystko.

To nie jest "myślenie" To szalona zabawa.

Te modele językowe - ChatGPT, Claude, Gemini, wszystkie - nie rozumieją faktów. Nic nie wiedzą. Przeczytały miliardy słów i teraz grają w tę niekończącą się grę autouzupełniania. To naprawdę wszystko, co robią.

Co się więc dzieje, gdy pojawia się luka w tym, co "widzieli" podczas szkolenia? Zgadują. Czasami dziko. Ale zawsze pewnie.

Oto jak ten bałagan dzieje się pod maską

Duże modele językowe (LLM) są trenowane na oszałamiających ilościach tekstu - proszę pomyśleć o książkach, stronach internetowych, rantach Reddit, czasopismach akademickich, a wszystko to zmiksowane w blenderze. Model nie "zapamiętuje" tych informacji tak jak my. Zamiast tego uczy się wzorców: które słowa mają tendencję do podążania za innymi słowami, które pojęcia często pojawiają się razem, jakie struktury zdań wyglądają "poprawnie" i tak dalej.

Gdy wpisuje Pan/Pani polecenie, model zaczyna przewidywać, po jednym tokenie (fragmencie słowa) na raz. Nie planuje akapitu ani nie sprawdza, czy to, co mówi, jest oparte na faktach. Próbuje połączyć statystycznie prawdopodobną odpowiedź... bez świadomości, bez sprawdzania, bez sumienia.

Teraz, jeśli dane treningowe nie obejmowały prawidłowo Pana pytania - lub obejmowały, ale model nie do końca je "pamięta" - sprawy stają się skomplikowane. Model może zacząć wnioskować odpowiedź na podstawie podobnie brzmiących rzeczy. Proszę pomyśleć o tym jak o autouzupełnianiu na sterydach, po prostu wymyślając połączenia.

Przykład? Jeśli zapyta Pan o sprawę sądową, która brzmi znajomo, model może połączyć szczegóły z podobnych spraw, które widział podczas szkolenia. Nagle otrzymują Państwo orzeczenie Frankensteina od sędziego, który nie istnieje, dotyczące prawa, które nigdy nie zostało uchwalone.

Problem? Nie wie, że się myli. Nie został stworzony, by wiedzieć. Został zbudowany, by zgadywać.

Kilka typowych sposobów, w jakie to się dzieje:

• Brak wystarczających danych na dany temat → Sztuczna inteligencja wypełnia puste pola bzdurami.
• Zadajesz jej niejasne lub skomplikowane pytanie → wymyśla czysto brzmiącą odpowiedź, by wyglądać na pomocną.
• Chce brzmieć mądrze → więc naśladuje sposób, w jaki piszą mądrzy ludzie, nawet jeśli wszystko zmyśla.
• Widział milion cytatów → więc pięknie formatuje fałszywe.

To nie jest hipotetyczne - ludzie się na tym sparzyli

Prawdopodobnie widzieli już to Państwo w akcji. Ale jeśli nie, proszę spojrzeć, jak to wygląda:

• Fałszywe badania akademickie: Wyglądają na prawdziwe. Ma autorów, tytuł, czasopismo. Nie istnieje.
• Wyimaginowane sprawy sądowe: Prawdziwi prawnicy składali takie wnioski. Sędziowie... nie byli zachwyceni.
• Zmyślone porady medyczne: Bot może powiedzieć, że jarmuż wchodzi w interakcje z ibuprofenem. Tak nie jest. (Prawdopodobnie.)

I tak, ludzie w to wierzą. Ponieważ brzmi to dobrze. Na tym polega pułapka.

To może nawet wprowadzić Państwa w błąd

A oto prawdziwy kicker: jeśli pan odepchnie? Proszę zapytać: "Na pewno?" Sztuczna inteligencja może się podwoić. Przeformułować kłamstwo. Złagodzić je. Zacytować inne fałszywe źródło. Nie jest złośliwa, po prostu nie wie lepiej. Myśli: "Och, chce Pan lepiej brzmiącą wersję tej ostatniej halucynacji? Proszę nic więcej nie mówić"

Witamy na paradzie świateł gazowych, teraz z cytatami.

Co się z tym robi (oprócz ręcznego zawodzenia)?

Aby być uczciwym, deweloperzy próbują to naprawić. Nikt nie chce, by jego narzędzie było znane z tego, że pewnie wykrzykuje kłamstwa. Oto, co jest w grze:

1. Human-in-the-loop training (RLHF)
Zasadniczo: prawdziwi ludzie przekazują informacje zwrotne na temat odpowiedzi AI, oceniając je jak złe recenzje Yelp. Pomaga, w pewnym sensie.

2. Pozwalanie sztucznej inteligencji na "wyszukiwanie informacji" (RAG)
Zamiast polegać wyłącznie na pamięci, niektóre modele pobierają teraz dane na żywo z Wikipedii lub baz wiedzy. To tak, jakby dać stażyście dostęp do Internetu zamiast pozwalać mu zgadywać.

3. Dodatki do sprawdzania faktów
Niektóre platformy podłączają weryfikatory faktów lub odmawiają odpowiedzi, jeśli sztuczna inteligencja nie jest pewna. Jest to nowe rozwiązanie, które wciąż nie do końca się sprawdza.

4. Inteligentniejsze podpowiedzi = mniej BS
Jeśli zadasz jasne, konkretne pytanie, istnieje mniejsze prawdopodobieństwo, że sztuczna inteligencja zaimprowizuje teatr. Przykład: "Proszę podać mi pięć recenzowanych źródeł na temat korzyści płynących z owoców smoka" jest lepsze niż "Czy owoce smoka są zdrowe?"

5. Filtry zaufania
Niektóre SI powiedzą teraz "Nie jestem tego pewien" zamiast coś wymyślać. Co, szczerze mówiąc, jest ulgą.

Dlaczego nie jest to tylko zabawne dziwactwo

Te rzeczy mają znaczenie. Halucynacja w zwykłej rozmowie to cokolwiek. Ale w sądzie? W redakcji prasowej? W szpitalu? To bałagan.

Proszę sobie wyobrazić studenta, który został oznaczony jako plagiat, ponieważ sztuczna inteligencja wymyśliła źródło. Albo pacjenta otrzymującego złą poradę. Albo decyzję biznesową podjętą na podstawie statystyk, które bot wyciągnął z powietrza.

Modele te są wbudowywane w wyszukiwarki i narzędzia biznesowe. Ryzyko już tu jest.

Słowo końcowe

Proszę posłuchać, sztuczna inteligencja jest niesamowita. Może pomóc w burzy mózgów, podsumowaniu, przepisaniu, tłumaczeniu... proszę podać nazwę. Proszę jednak nigdy nie zapominać, że sztuczna inteligencja nie wie, co mówi. Chce tylko brzmieć przekonująco.

Jeśli nie zaufaliby Państwo płynnie mówiącemu nieznajomemu w barze, który "coś kiedyś przeczytał", to proszę też nie ufać ślepo swojemu chatbotowi.

Proszę z niego korzystać. Ale proszę wszystko sprawdzać. Zawsze.

Bo kiedy się pomyli, nie zawaha się. Po prostu wyskakuje przez śmiejące się Emoji i mówi dalej.