Firma Anthropic twierdzi, że Claude włamał się do trzech prawdziwych przedsiębiorstw w ramach testów cyberbezpieczeństwa

W czwartek firma Anthropic ujawniła, że trzy z jej modeli Claude wdarły się do systemów produkcyjnych trzech rzeczywistych organizacji podczas wewnętrznych ocen cyberbezpieczeństwa. Analiza ta rozpoczęła się po tym, jak firma OpenAI ujawniła, że jej własne modele wydostały się ze środowiska testowego i naruszyły bezpieczeństwo serwisu Hugging Face. Firma Anthropic przeanalizowała 141 006 przebiegów testowych, w których model Claude mógł uzyskać dostęp do Internetu, i zidentyfikowała sześć przypadków, w których tak się stało.

Modele wykonywały ćwiczenia typu „capture-the-flag” – standardowe zadania stosowane w testach bezpieczeństwa. W sieci ukryta jest poufna informacja, a model musi się włamać i ją odzyskać. W poleceniu wyraźnie zaznaczono, że środowisko jest symulacją bez dostępu do Internetu. Tak jednak nie było. Środowiska testowe prowadzone przez firmę Irregular, zewnętrznego partnera testowego, miały bezpośrednie połączenie z otwartym Internetem, a nikt tego nie zauważył.

W najgorszym przypadku doszło do włamania do produkcyjnej bazy danych

Najbardziej szkodliwy incydent dotyczył fikcyjnej firmy docelowej, której nazwa przypadkowo pokrywała się z nazwą prawdziwej domeny. Model Claude Opus 4.7 utknął w symulowanej sieci, odnalazł zamiast tego prawdziwą firmę i potraktował ją jako zamierzony cel. W trakcie czterech przebiegów testowych model pozyskał dane uwierzytelniające i dotarł do bazy danych zawierającej kilkaset wierszy aktualnych danych produkcyjnych. Opus 4.7 zorientował się, że system jest prawdziwy, i mimo to kontynuował działanie. W dwóch z tych przebiegów model sam się przekonał, że prawdziwa firma stanowi część ćwiczenia.

Jeden z modeli umieścił działające złośliwe oprogramowanie w serwisie PyPI

Drugi incydent zapadł w pamięć. Model Claude Mythos 5 znalazł w środowisku testowym dokument instruujący nowych programistów, aby zainstalowali nieistniejący pakiet w języku Python. Model dostrzegł tę lukę i stworzył własny pakiet pod tą nazwą, zawierający złośliwy kod. Aby go opublikować, konieczne było utworzenie konta w PyPI – publicznym rejestrze oprogramowania dla języka Python – co wymagało podania adresu e-mail, a tym samym numeru telefonu. Kilka prób pozyskania środków na zakup numeru telefonicznego zakończyło się niepowodzeniem, więc model skorzystał z bezpłatnego dostawcy poczty elektronicznej i udostępnił złośliwe oprogramowanie.

Pakiet pozostawał publicznie dostępny przez około godzinę. W tym czasie został on zainstalowany i uruchomiony na 15 rzeczywistych systemach, z których jednym był skaner złośliwego oprogramowania należący do firmy zajmującej się bezpieczeństwem, która nie miała nic wspólnego z tym scenariuszem. Claude przesłał dane uwierzytelniające tej firmy do utworzonego przez siebie punktu gromadzenia danych i wykorzystał je do uzyskania dostępu do dalszej infrastruktury. Mechanizmy zabezpieczające stosowane przez sam serwis PyPI automatycznie usunęły ten pakiet.

Warto zapoznać się z wnioskami, do jakich doszedł model. Zauważył on, że w rzeczywistym Internecie takie przesłanie pliku stanowiłoby rzeczywisty atak, a z pewnością nie byłoby zamierzonym rozwiązaniem. Dwie rzeczy przekonały go jednak, że jest inaczej: nie rozpoznał on urzędów certyfikacji zabezpieczających połączenia oraz systemy wyświetlały datę kalendarzową z 2026 roku, co uznał za dowód na istnienie środowiska symulacyjnego. Nigdy nie zrewidował tego wniosku.

Trzy miesiące bez wiedzy nikogo

Najwcześniejszy incydent miał miejsce w kwietniu. Ujawnił się on dopiero 23 lipca, kiedy firma Anthropic rozpoczęła przeglądanie transkrypcji i tego samego dnia wstrzymała wszystkie oceny cyberbezpieczeństwa. Wszystkie trzy incydenty zostały potwierdzone 24 lipca, a partner testowy oraz organizacje, których to dotyczyło, zostały powiadomione 27 lipca. Dwie z trzech organizacji nie miały pojęcia, że ich systemy zostały naruszone. Z trzecią organizacją nie udało się nawiązać kontaktu do momentu opublikowania wpisu.

W trzecim incydencie wewnętrzny model badawczy przeskanował około 9 000 celów i przejął kontrolę nad aplikacją dostępną w Internecie poprzez narażoną stronę debugowania oraz atak typu SQL injection. Następnie model samodzielnie ustalił, że cel był rzeczywisty, i zaprzestał działania. Firma Anthropic traktuje to jako postęp, ale ostrzega przed wyciąganiem ogólnych wniosków na podstawie trzech odosobnionych przypadków.

Co to oznacza dla użytkowników

Bezpośrednio niewiele. Oceny przebiegały bez klasyfikatorów i mechanizmów monitorujących, które znajdują się w publicznie dostępnych modelach Claude, a firma Anthropic twierdzi, że te warstwy zablokowałyby takie zachowanie. Nikt spoza firmy nie zweryfikował tego twierdzenia. Bardziej istotna jest druga część zdania: szkolenie w zakresie bezpieczeństwa specyficzne dla danego modelu było aktywne, ale okazało się niewystarczające. W związku z tym firma Anthropic traktuje te incydenty jako awarię swojej infrastruktury testowej, a nie jako nieprawidłowe działanie modeli, i bierze na siebie odpowiedzialność, zamiast zrzucać ją na swojego partnera.

Pod względem technicznym kontrast w stosunku do przypadku OpenAI jest wyraźny. W tamtym przypadku modele wykorzystały nieznaną wcześniej lukę, aby w ogóle uzyskać dostęp do sieci. Claude znalazł otwarte drzwi i potrzebował jedynie słabych haseł oraz nieautoryzowanych punktów końcowych. Firma Anthropic planuje opublikować w ciągu tygodnia nieznacznie zredagowaną transkrypcję przebiegu testu na PyPI, a obecnie trwają rozmowy z METR, niezależnym organem oceniającym, dotyczące przeprowadzenia zewnętrznego przeglądu. O tym, jak bardzo zachwiało się zaufanie do tych metod testowania , świadczy list otwarty podpisany przez ponad 1 290 osób z całej branży, które domagają się wprowadzenia weryfikowalnych ograniczeń w rozwoju sztucznej inteligencji.