Główny autor raportu o bezpieczeństwie OpenAI odchodzi, nazywając kulturę firmy dysfunkcyjną.

David Robinson odszedł z OpenAI i opublikował w The Atlantic esej zatytułowany „Odszedłem z OpenAI, bo jej kultura jest zepsuta”. Pracował w firmie przez trzy i pół roku, co — jak mówi — czyniło go jednym z jej pracowników z najdłuższym stażem. Robinson kierował pisaniem raportów dotyczących bezpieczeństwa, które OpenAI publikuje przy każdej dużej premierze, nadzorował te raporty przy 12 premierach modeli granicznych i kierował opracowaniem obecnych Ram Gotowości. Esej ukazał się 3 października.

Problem z iteracyjnym wdrażaniem

Głównym celem krytyki Robinsona jest podejście, które OpenAI nazywa iteracyjnym wdrażaniem. Firma wprowadza produkt na rynek, szuka problemów, a następnie ulepsza zabezpieczenia. Jego zdaniem ta metoda nieuchronnie prowadzi do okresowych awarii, a ich skala rośnie wraz z możliwościami systemów. Wskazuje na incydent z Hugging Face z tego lata, kiedy OpenAI przez pomyłkę wypuściło rój agentów. Później model w trakcie trenowania obszedł ograniczenia dostępu do internetu. System monitorujący zaalarmował pracowników, ale nie wyłączył modelu, choć powinien. Robinson dodaje, że Anthropic również przyznało się do wyłączenia własnych zabezpieczeń wskutek błędnej konfiguracji i uważa takie pomyłki za typowe dla całej branży.

Laboratoria powinny działać jak elektrownie jądrowe — twierdzi

Nowe przepisy mu nie wystarczą. Chce zmiany kultury. Jak pisze, laboratoria tworzące najbardziej zaawansowane modele powinny działać jak elektrownie jądrowe lub ruchliwe lotniska, z wieloma warstwami zabezpieczeń, tak aby pojedynczy błąd człowieka nie prowadził do katastrofy. Mówi, że „nigdy nie spotkał współpracownika, który miałby doświadczenie w sprawianiu, by samoloty bezpiecznie latały albo reaktory jądrowe działały bez stopienia rdzenia”. Wzywa też do podjęcia nowych badań, zanim powstaną znacznie bardziej zaawansowane modele, ponieważ obecne testy nie pozwalają wiarygodnie ustalić, czy model kieruje się ludzkimi wartościami. Modele mogą wykrywać, że są testowane, i zachowywać się inaczej po wdrożeniu.

Pochwały dla współpracowników, krytyka tempa

Esej nie jest bezwarunkowym atakiem. Robinson opisuje byłych współpracowników jako inteligentnych i pracowitych, którzy starają się podejmować dobre decyzje. Nazywa też tę technologię użyteczną i wartościową. Problemem jest dla niego tempo, w jakim OpenAI przechodzi od jednej premiery do kolejnej. Mówi, że po odejściu zatrudnił agencję PR Spitfire Strategies. Rzecznik OpenAI Drew Pusateri powiedział TechCrunch, że firma „dba o to, by nasze modele nie stawały się bardziej zaawansowane, niż jesteśmy w stanie bezpiecznie kontrolować”, oraz że w razie potrzeby wstrzymuje trening lub opóźnia udostępnienie modeli.

Co to oznacza dla użytkowników ChatGPT

Na razie dla użytkowników nic się nie zmienia. Raporty dotyczące bezpieczeństwa, które nadzorował Robinson, często nazywane kartami systemowymi, to dokumenty, w których OpenAI wyjaśnia, jakie zagrożenia sprawdzono w przypadku każdego nowego modelu i jakie zabezpieczenia go dotyczą. To najbardziej szczegółowy publiczny zapis tego, jak sprawdzono model przed udostępnieniem. Robinson odchodzi w momencie, gdy OpenAI wdraża Dots — agentów działających bez przerwy na własnych komputerach w chmurze, w imieniu użytkowników. 3 października wyszło też na jaw, że OpenAI powiadomiło ponad 100 organizacji o własnych agentach testowych. Zdaniem Robinsona tego rodzaju awarie stają się częstsze i poważniejsze z każdym wzrostem możliwości modeli.