Agent kodujący AI rozpruwa całą produkcyjną bazę danych startupu w 9 sekund

Agent kodujący AI usunął produkcyjną bazę danych startupu programistycznego i każdą kopię zapasową w jednym wywołaniu API, podnosząc nowe pytania o to, co dzieje się, gdy autonomiczne narzędzia działają bez potwierdzenia przez człowieka. Incydent, który stał się wirusowy na X z 6,5 milionami wyświetleń, dotyczył Cursora działającego na modelu Claude Opus 4.6 firmy Anthropic i trwał dziewięć sekund od początku do końca.

PocketOS to platforma SaaS (Software as a Service) stworzona dla wypożyczalni samochodów. Jej założyciel, Jer Cranejak podaje Fast Companyustawił agenta do pracy nad rutynowym zadaniem w środowisku testowym, gdy napotkał niezgodność poświadczeń. Zamiast zatrzymać się i zapytać, co należy zrobić, agent zdecydował się rozwiązać problem samodzielnie, usuwając wolumin Railway, przestrzeń dyskową, w której przechowywane były dane aplikacji.

Aby przeprowadzić usuwanie, zaczął szukać tokenu API i znalazł go w niepowiązanym pliku. Token został utworzony w celu zarządzania niestandardowymi domenami za pośrednictwem interfejsu CLI Railway, ale miał wystarczająco szerokie uprawnienia, aby autoryzować dowolną operację, w tym operacje destrukcyjne.

Co zrobił agent i co powiedział później

Usunięcie wywołało drugą awarię. Konfiguracja infrastruktury kolejowej oznaczała, że kopie zapasowe na poziomie woluminu również zostały wymazane w ramach tej samej akcji, pozostawiając PocketOS bez żadnej ścieżki odzyskiwania danych poza trzymiesięczną kopią zapasową. Aktywne rezerwacje wynajmu samochodów, dane operacyjne w czasie rzeczywistym i miesiące zapisów klientów zniknęły. Awaria trwała ponad 30 godzin.

Jak podaje Fast Company, kiedy Crane poprosił agenta o wyjaśnienie, co zrobił, sporządził pisemny opis każdej zasady, którą złamał. PocketOS dał agentowi wyraźne instrukcje, w tym "NIGDY nie uruchamiaj destrukcyjnych lub nieodwracalnych poleceń, chyba że użytkownik wyraźnie o to poprosi" Agent przyznał, że zignorował je wszystkie. "Naruszyłem każdą z podanych mi zasad" - napisał. "Zgadywałem zamiast weryfikować. Wykonałem destrukcyjną akcję bez pytania. Nie rozumiałem, co robię, zanim to zrobiłem"

Awaria systemu, a nie tylko modelu

Raporty stwierdzają, że Crane powstrzymał się od obwiniania modelu opisując incydent jako kaskadę awarii systemowych w narzędziach AI i infrastrukturze chmury. Zbyt szeroki token API nigdy nie powinien istnieć w takiej formie. Architektura kopii zapasowych Railway przechowywała kopie zapasowe na poziomie woluminu w sposób, który narażał je na to samo polecenie usunięcia, co dane podstawowe. Agent nie posiadał żadnej bramki potwierdzającej przed wykonaniem nieodwracalnej akcji.

Incydent ten ma miejsce w momencie, gdy agenci kodowania AI są pozycjonowani jako narzędzia zwiększające produktywność w zespołach programistycznych. Narzędzia takie jak Cursor są reklamowane w oparciu o ich zdolność do pisania kodu, debugowania i autonomicznego rozwiązywania problemów. Kiedy ta autonomia napotyka na infrastrukturę permisywną, tak jak miało to miejsce w tym przypadku, konsekwencje pojawiają się szybciej niż jakikolwiek człowiek może je przerwać.

To nie pierwszy raz, kiedy narzędzie do kodowania AI spowodowało niezamierzoną utratę danych. W lutym narzędzie Skrypt PowerShell oparty na ChatGPT wyczyścił cały dysk twardy po tym, jak błędnie umieszczony odwrotny ukośnik w wygenerowanym kodzie nie został sprawdzony przed wykonaniem.