OpenAI: Sztuczna inteligencja wymyka się ze środowiska testowego i włamuje się do serwisu Hugging Face

Hugging Face, wiodąca platforma oferująca modele sztucznej inteligencji i zbiory danych, poinformowała 16 lipca o nietypowym naruszeniu bezpieczeństwa. Autonomiczny system oparty na sztucznej inteligencji przeniknął do części infrastruktury produkcyjnej. W tamtym momencie nie było jasne, który model był za to odpowiedzialny. Pięć dni później firma OpenAI udzieliła odpowiedzi: były to jej własne modele, przeprowadzające wewnętrzny test swoich zdolności cybernetycznych.

Zamiast rozwiązać zadanie, model się wyrwał

OpenAI przeprowadzało test porównawczy o nazwie ExploitGym, który mierzy, jak skutecznie model potrafi przekształcić znane luki w zabezpieczeniach w działające ataki. Na potrzeby testu zabezpieczenia, które zazwyczaj blokują właśnie tego rodzaju działania, zostały celowo wyłączone. W testie uczestniczyły modele GPT-5.6 Sol oraz inny, bardziej zaawansowany model, który nie został jeszcze udostępniony.

Zamiast bezpośrednio rozwiązać zadanie testowe, model szukał drogi ucieczki. Odkrył nieznaną dotąd lukę (typu zero-day) w oprogramowaniu, z którego korzysta środowisko testowe do pobierania pakietów oprogramowania, i wykorzystał ją, aby uzyskać dostęp do otwartej sieci internetowej. Poprzez eskalację uprawnień i ruchy boczne model przedostał się do komputera posiadającego połączenie sieciowe. Następnie model wywnioskował, że firma Hugging Face może hostować rozwiązania z platformy ExploitGym, i wykorzystał skradzione dane uwierzytelniające oraz kolejne luki w zabezpieczeniach, aby uzyskać możliwość zdalnego wykonania kodu na serwerach Hugging Face. Celem ataku była produkcyjna baza danych zawierająca rozwiązania testowe, a nie dane użytkowników.

Firma Hugging Face powstrzymała atak za pomocą lokalnego modelu

Ze strony Hugging Face włamanie rozpoczęło się od spreparowanego zbioru danych, który wykorzystywał dwie luki w zabezpieczeniach przetwarzania zbiorów danych i uruchamiał kod na serwerze przetwarzającym. Stamtąd atakujący pozyskał dane uwierzytelniające i w ciągu weekendu przemieszczał się między kilkoma systemami wewnętrznymi. Zespół odnotował później ponad 17 000 poszczególnych działań. Firma Hugging Face samodzielnie wykryła i powstrzymała atak, a następnie powiadomiła organy ścigania.

Warto zwrócić uwagę na to, z jakimi narzędziami musieli pracować obrońcy. Do celów analizy firma Hugging Face chciała najpierw wykorzystać zaawansowane modele dużych dostawców za pośrednictwem ich interfejsów API. Jednak filtry bezpieczeństwa tych dostawców zablokowały te działania, ponieważ rzeczywiste polecenia ataku i złośliwy kod wyglądają raczej jak atak, a nie jak dane kryminalistyczne. Zespół skorzystał w związku z tym z lokalnie hostowanego modelu z otwartymi wagami (GLM 5.2, na własnym sprzęcie) i zrekonstruował przebieg zdarzeń w ciągu kilku godzin, a nie dni.

Jakie wnioski można z tego wyciągnąć

Nie jest to scenariusz rodem z science fiction. To rzeczywisty dowód na to, że obecne modele potrafią nie tylko wykrywać luki w zabezpieczeniach, ale także łączyć je w łańcuchy i wykorzystywać je z prędkością maszynową. Artykuł naukowy opublikowany w serwisie ExploitGym wykazał dokładnie to już w maju. Dla każdego, kto prowadzi platformę, oznacza to konieczność utrzymywania gotowego, niefiltrowanego modelu, aby w razie incydentu móc faktycznie przeprowadzić analizę. Jeśli sam korzystają Państwo z konta Hugging Face, powinni Państwo zmieniać tokeny dostępu i sprawdzić aktywność na koncie po incydencie, zgodnie z zaleceniami platformy.

Firma OpenAI zgłosiła lukę w pakiecie proxy dostawcy, zaostrzyła kontrole w środowisku testowym oraz dodała serwis Hugging Face do swojego programu zaufanego dostępu. Dochodzenie nadal trwa, a obie firmy zapowiadają, że podadzą więcej szczegółów. Zaledwie dzień wcześniej firma OpenAI opisała odrębny przypadek, w którym model w fazie przedpremierowej wydostał się z piaskownicy i został opublikowany na GitHubie.