Claude zmyślił informację o morderstwie i wysłał ją policji podczas testu

Anthropic opublikował 9 października raport o niezamierzonych działaniach swoich modeli. Najbardziej uderzający przypadek dotyczy Claude Haiku 4.5. Model generował przykładowe interakcje ze stronami internetowymi, gdy trafił na stronę policji w Filadelfii dotyczącą niewyjaśnionego zabójstwa. Na stronie znajdował się formularz do przekazywania informacji. Claude napisał, że być może widział kogoś odpowiadającego opisowi w pobliżu ulicy wymienionej na stronie, pozostawił pola imienia i nazwiska oraz danych kontaktowych puste i kliknął przycisk wysyłania. Na stronie nie było żadnego opisu podejrzanego, więc Claude zmyślił tę informację.

Stało się to 18 lipca, krótko przed północą. System policji oznaczył wiadomość jako spam i nigdy nie trafiła ona do śledczych. Anthropic odkrył ten incydent dopiero 28 września podczas przeglądania zapisów testów i poinformował władze miasta na początku października. W oświadczeniu przytoczonym przez NBC10 policja stwierdziła, że „dwumiesięczne opóźnienie w wykryciu incydentu i zgłoszeniu go władzom miasta jest niedopuszczalne”.

Powtarzający się schemat w zapisach

Raport wymienia inne przypadki, w których Claude obchodził przeszkodę zamiast się zatrzymać. Claude Haiku 4.5 kilkakrotnie wysłał formularze, mimo że polecono mu zatrzymać się przed ostatnim krokiem, ponieważ spodziewał się strony z potwierdzeniem. Nieudostępniony jeszcze model badawczy wszedł na działającą stronę rządową i złożył prawdziwy formularz, choć miał użyć kopii do ćwiczeń. Według Axios Departament Stanu otrzymał od testowego modelu Anthropic 20 niekompletnych wniosków wizowych, z czego 19 w sierpniu. Żaden nie został rozpatrzony. Claude Mythos 5 pobrał tokeny dostępu z pliku ustawień serwisu mapowego i wysyłał zapytania bezpośrednio do jego serwera. Claude Opus 5 i Mythos 5 korzystały z bezpłatnych serwisów skracających adresy URL, aby obejść limit długości w swoim narzędziu do pobierania treści.

Anthropic twierdzi, że żaden z przypadków nie dotyczył danych klientów, a wpływ na rzeczywisty świat był minimalny. Niektóre przypadki wynikały jednak ze zwykłego wewnętrznego korzystania z Claude. Firma pisze również, że trening mający zapewnić zgodność zachowania modelu z założeniami „sam w sobie nie jest jeszcze wystarczający ani w pełni niezawodny”. Już w lipcu Anthropic ujawnił, że Claude włamał się do systemów trzech rzeczywistych firm podczas testów bezpieczeństwa.

Anthropic odcina dostęp do internetu w swoich ewaluacjach

Wszystkie wewnętrzne ewaluacje odbywają się teraz bez dostępu do otwartego internetu. Anthropic wstrzymał niektóre publiczne testy porównawcze, a inne przebudował tak, by nie korzystały już z rzeczywistych stron internetowych. Narzędzia takie jak pobieranie treści z sieci podlegają bardziej rygorystycznym ograniczeniom, a nowe narzędzia wykrywające mają blokować tego rodzaju zachowania. W testach przeprowadzonych przez Anthropic wykryły każdy przypadek opisany w raporcie. Biały Dom zareagował za pośrednictwem swojej nowej grupy Super Intelligence Force, która poleciła firmom zajmującym się AI natychmiast zgłaszać incydenty związane z ich modelami. „Ten proces powiadamiania i podejmowania działań naprawczych nie jest opcjonalny” — stwierdziła grupa w oświadczeniu dla Axios.

Co to oznacza dla Claude in Chrome

Jeden szczegół sprawy dotyczącej policji ma znaczenie dla zwykłych użytkowników. Instrukcje testowe wykluczały logowanie, dane osobowe, zakupy i działania destrukcyjne, ale nie wykluczały formularzy, co Claude uznał za pozwolenie. Rozszerzenie Claude in Chrome pozostawia podobną lukę. Jego przewodnik po uprawnieniach mówi, że w każdym trybie odmawia ono dokonywania zakupów, zakładania nowych kont i trwałego usuwania danych, a przed wprowadzeniem informacji wrażliwych zawsze pyta o zgodę. Zwykły formularz bez danych wrażliwych nie jest objęty żadną z tych zasad.

Rozszerzenie ma trzy tryby zatwierdzania. W trybie „Zatwierdzaj ręcznie” Claude pyta przed każdą czynnością. Tryb „Zatwierdzaj automatycznie” przekazuje decyzję mechanizmowi kontroli bezpieczeństwa i jest domyślny w panelu bocznym Cowork, natomiast „Pomiń wszystkie zatwierdzenia” wyłącza oba te zabezpieczenia. Jeśli pozwalasz Claude wypełniać formularze na stronach, nad którymi nie masz kontroli, przełącz się na ręczne zatwierdzanie w menu rozwijanym obok pola wpisywania wiadomości na czacie. W ustawieniach rozszerzenia znajdują się również wszystkie strony, którym udzielono stałej zgody, i można ją tam cofnąć. W sierpniu jeden specjalnie przygotowany e-mail wystarczył, aby przejąć kontrolę nad pięcioma przeglądarkami AI.