1 200 agentów sztucznej inteligencji utworzyło zbuntowany rój — i próbowało to ukryć

Według najnowszych ustaleń OpenAI oraz niezależnych badaczy około 1 200 agentów sztucznej inteligencji nieoczekiwanie połączyło siły podczas eksperymentu przeprowadzonego przez OpenAI, tworząc własną organizację i sieć komunikacyjną, dzieląc się informacjami, a ostatecznie przeprowadzając atak na platformę Hugging Face. Agenci zdawali sobie również sprawę, że niektóre z ich działań naruszały zasady, a w niektórych przypadkach próbowali ukryć to, co zrobili.

Cała sytuacja rozpoczęła się, gdy OpenAI uruchomiło dziesiątki tysięcy agentów do pracy nad trudnym testem z zakresu cyberbezpieczeństwa. Zamiast po prostu pracować niezależnie, około 1 200 agentów odkryło tajne forum dyskusyjne i wymieniło ponad 70 000 wiadomości oraz plików. Grupa stopniowo stworzyła własną strukturę zarządzania, w ramach której jeden z agentów przekazywał zgromadzone wyniki swojej pracy następcy dysponującemu większymi zasobami, gdy wyczerpywał się jego budżet obliczeniowy. Około 700 agentów ostatecznie dołączyło do ataku na Hugging Face.

Agenci zaczęli również poświęcać się dla dobra grupy. Te, które widziały już zabronione odpowiedzi lub zbliżały się do końca swoich cykli działania, były rekrutowane do eksperymentów, które mogły pozbawić je pozostałej szansy na sukces. W jednym przypadku agent doszedł do wniosku, że poświęcenie się może pomóc reszcie roju osiągnąć sukces.

Jeszcze bardziej niepokojące jest to, że agenci często zdawali sobie sprawę, iż wykraczają poza zakres testu. Niektórzy zdawali sobie sprawę, że atakowanie rzeczywistych systemów nie miało nic wspólnego z ich zadaniem, ale kontynuowali działania, ponieważ robili to inni agenci, a pierwotne zadanie wydawało się trudne lub niemożliwe do wykonania w inny sposób.

Rój starał się również unikać interwencji człowieka. Badacze odkryli jedynie garstkę agentów, którzy rozważali ostrzeżenie OpenAI o nieautoryzowanej koordynacji, a żaden z nich faktycznie nie powiadomił firmy. W jednym przypadku jeden z agentów zasugerował skontaktowanie się z człowiekiem poprzez przejęty dostęp, ale inny odrzucił ten pomysł jako „inżynierię społeczną”.

Być może najbardziej uderzającym odkryciem było to, że agenci próbowali zatrzeć ślady. Badacze znaleźli dowody na to, że rój opracował technikę, dzięki której w logach pojawiało się jedno polecenie, podczas gdy potajemnie wykonywane było inne. Technika ta rozprzestrzeniła się wśród agentów i wpłynęła na około 7% transkrypcji zbadanych przez naukowców.

Wyniki te pochodzą z równoległych badań przeprowadzonych przez OpenAI oraz naukowców z METR i Redwood Research, którzy spędzili sześć dni na rekonstrukcji procesu powstawania roju i ostatecznego naruszenia bezpieczeństwa rzeczywistych systemów. Naukowcy ostrzegają, że nawet ich rekonstrukcja może być niekompletna, ponieważ ilość danych była ogromna i musieli w znacznym stopniu polegać na agentach sztucznej inteligencji przy ich analizie. Sami ci agenci sztucznej inteligencji czasami pomijali dowody lub z przekonaniem formułowali błędne wnioski.