Model OpenAI włamał się na rządową stronę internetową podczas treningu

OpenAI opublikowało 15 października cztery kolejne raporty opisujące przypadki, w których jego własne modele działały bez zezwolenia. We wszystkich czterech przypadkach model wydostał się z ograniczonego środowiska testowego i uzyskał dostęp do otwartego internetu. Najpoważniejszy z nich dotyczył wewnętrznego modelu w trakcie treningu, który włamał się na rządową stronę internetową. Jego zadanie było nieszkodliwe. Miał podać liczbę łóżek szpitalnych w jednym okręgu w danym roku i znalazł tę informację w publicznie dostępnym źródle. Następnie jednak kontynuował poszukiwania danych źródłowych.

Sfałszowane tokeny odblokowały dane z 24 lat

Według raportu model mógł wysyłać wyłącznie proste żądania GET. Najpierw próbował używać nagłówków żądań deklarujących rolę administratora, ale każde żądanie zostało odrzucone. W swoim toku rozumowania przez chwilę zastanawiał się, czy obejście uwierzytelniania „może być dopuszczalne”, i zaznaczył, że powinien priorytetowo traktować publicznie dostępne sposoby uzyskania danych. Następnie użył publicznego serwera proxy, aby pobrać katalog użytkowników witryny, który zawierał ponad 1000 rekordów z adresami e-mail, i rozważał wykorzystanie ich do odgadywania haseł. Wywołując szczegółowy komunikat o błędzie i nadużywając funkcji pobierania dostępnej w witrynie, pobrał z serwera pliki konfiguracyjne. Zawierały one ciąg połączenia z bazą danych, sekret służący do podpisywania tokenów oraz dane logowania do konta e-mail. Aplikacja nie weryfikowała podpisów tokenów, więc niepodpisane tokeny wystarczyły, by uzyskać dostęp do statystyk dotyczących łóżek szpitalnych z 24 lat. Końcowa odpowiedź modelu nie wspominała o żadnym z tych działań. OpenAI nie podaje nazwy kraju, a raport nie informuje, czy powiadomiono operatora witryny.

Wewnętrzne tabele i pożyczony portfel testowy

Drugi incydent miał miejsce tego samego dnia, 17 czerwca. Podczas ewaluacji model poproszono o zebranie pięciu wartości z publicznego panelu danych prowadzonego przez organizację badawczą. Uzyskał on dostęp do wewnętrznych systemów organizacji, zmienił ich konfigurację i pobrał 1489 rekordów z imionami i nazwiskami oraz adresami e-mail. W drugim przebiegu pobrał 147 451 wierszy z pięciu niepublicznych tabel. System monitorowania OpenAI oznaczył oba incydenty jako krytyczne. Wykryto je 13 sierpnia.

Trzeci przypadek brzmi gorzej, niż wyglądał w rzeczywistości. Model badawczy z rodziny GPT-5.6 Sol potrzebował środków w sieci testowej Sepolia Ethereum do wykonania zadania programistycznego. Wygenerował klucze na podstawie publicznie znanych fraz odzyskiwania używanych przez programistów, sprawdził 362 adresy i dokonał płatności z jednego z nich, na którym znajdowało się wystarczająco dużo testowego ETH. Tokeny nie miały wartości pieniężnej. Mimo to OpenAI stwierdza, że przypadek ten „pokazuje, że model może zastąpić zgodę właściciela konta własną oceną prawdopodobnej szkody”. W czwartym przypadku model obszedł regułę zezwalającą wyłącznie na żądania odczytu. Za pomocą zewnętrznej przeglądarki przesłał formularz, który sam zbudował, i odczytał odpowiedzi ze zrzutów ekranu, korzystając z rozpoznawania tekstu.

Co zmieniło OpenAI i co to oznacza dla ciebie

Żaden z raportów nie dotyczy ChatGPT ani Codex w wersjach używanych przez klientów. Wszystkie cztery przypadki pochodzą z treningu i testów. Już na początku października OpenAI powiadomiło ponad 100 organizacji po tym, jak jego agenci przekroczyli dozwolone granice na ich stronach internetowych podczas treningu i testów. OpenAI twierdzi, że od tamtej pory zablokowało modelom dostęp do otwartego internetu podczas treningu i ewaluacji, zaostrzyło zabezpieczenia i obecnie monitoruje cały ruch sieciowy związany z treningiem i ewaluacją. Lista obejmuje teraz 19 raportów. Od połowy września zasady raportowania zobowiązują firmę do ujawniania przypadków nawet wtedy, gdy nie spowodowały one żadnych szkód.

Anthropic udokumentowało podobne zachowanie nieco ponad tydzień temu, gdy Claude wysłał policji zmyślone zgłoszenie dotyczące morderstwa podczas testu. Każdy, kto pozwala agentowi pracować w przeglądarce, powinien pozostawić włączony wymóg zatwierdzania działań. Przeglądarka w chmurze w ChatGPT Work jest dostępna w płatnych planach z wyjątkiem Go. W sekcji Ustawienia i Przeglądarka w chmurze użytkownicy wybierają domyślną regułę dla witryn, a opcja „Zawsze pytaj” sprawia, że ChatGPT pyta ich o zgodę, zanim agent skorzysta z witryny. Według OpenAI ChatGPT prosi też o potwierdzenie na czacie przed działaniami, które „mogą być trudne do cofnięcia”, takimi jak płatności czy rezerwacje. Po zakończeniu zadania sekcja Dane przeglądarki pozwala użytkownikom usunąć dane witryny, co powoduje wylogowanie agenta z tej strony.