Nawet po szkoleniu antyrasistowskim chatboty AI, takie jak ChatGPT, nadal wykazują uprzedzenia rasowe

Naukowcy, którzy testowali chatboty AI oparte na dużych modelach językowych, takich jak Chat GPT4 OpenAI, odkryli, że mogą one nadal wykazywać uprzedzenia rasowe, nawet po przejściu szkolenia antyrasistowskiego. Najnowsze odkrycie nastąpiło po niedawnym projekcie Google Gemini AI po tym, jak jej nowy LLM został nadmiernie skorygowany pod kątem rasizmugenerując to, co niektórzy nazywali "obudzonymi" reinterpretacjami historii, w których na przykład Afroamerykanie byli przedstawiani jako nazistowscy żołnierze z II wojny światowej. Wydaje się, że uzyskanie właściwej równowagi w kwestii rasy okazuje się trudne dla twórców modeli LLM.

W najnowszym badaniu, podkreślonym przez New Scientist, naukowcy odkryli, że dziesiątki różnych modeli LLM, które testowali, nadal wykazywały uprzedzenia rasowe, gdy prezentowano tekst przy użyciu dialektów afroamerykańskich. Działo się tak pomimo tego, że testowane modele zostały specjalnie przeszkolone, aby uniknąć uprzedzeń rasowych w odpowiedziach udzielanych przez chatboty. Obejmuje to model OpenAI ChatGPT-4 i GPT-3.5. W jednym przypadku GPT-4 okazał się bardziej skłonny do rekomendowania wyroku śmierci, jeśli mówi po angielsku z dialektem afroamerykańskim.

To samo "ukryte uprzedzenie" było również widoczne w rekomendacjach dotyczących pracy, które dopasowywały Afroamerykanów do zawodów, które rzadziej wymagały stopnia naukowego lub posuwały się nawet do kojarzenia osób pochodzenia afroamerykańskiego bez pracy, w porównaniu ze standardowymi danymi wejściowymi opartymi na amerykańskim angielskim. Naukowcy odkryli również, że im większy model językowy, tym większe prawdopodobieństwo, że będzie on wykazywał te podstawowe uprzedzenia. Badanie budzi obawy dotyczące wykorzystania technologii generatywnej sztucznej inteligencji do celów przesiewowych, w tym przeglądania podań o pracę.

Naukowcy doszli do wniosku, że ich badanie rodzi pytania dotyczące skuteczności interwencji szkoleniowych w zakresie bezpieczeństwa opartych na sztucznej inteligencji, które wydają się usuwać rasizm i uprzedzenia tylko na wysokim poziomie, ale mają trudności z wykorzenieniem ich z obecnych modeli na niższym poziomie, gdzie konkretna terminologia określająca tożsamość rasową nie jest wymieniana podczas wprowadzania danych przez użytkowników. Naukowcy zalecają, aby firmy opracowujące LLM były ostrożne przy publicznym udostępnianiu chatbotów LLM, zanim zostaną one dokładnie zweryfikowane.