Badanie pokazuje, że chatboty AI dostarczają mniej dokładnych informacji wrażliwym użytkownikom

Duże modele językowe są powszechnie uznawane za rewolucyjne narzędzia zdolne do demokratyzacji globalnego dostępu do informacji. Jednak nowe badania przeprowadzone przez Massachusetts Institute of Technology Center for Constructive Communication wskazują, że te systemy sztucznej inteligencji systematycznie osiągają gorsze wyniki w przypadku wrażliwych grup demograficznych, które mogą z nich najbardziej skorzystać.

W badaniu zaprezentowanym na konferencji AAAI poświęconej sztucznej inteligencji zbadano najnowocześniejsze chatboty, w tym GPT-4 firmy OpenAI, Claude 3 Opus firmy Anthropic i Llama 3 firmy Meta. Naukowcy przetestowali modele przy użyciu zbiorów danych TruthfulQA i SciQ, aby zmierzyć faktyczną dokładność i prawdziwość, jednocześnie dodając biografie użytkowników, które różniły się w zależności od poziomu wykształcenia, znajomości języka angielskiego i kraju pochodzenia. Wyniki wykazały znaczny spadek dokładności w przypadku użytkowników z mniej formalnym wykształceniem lub niższą znajomością języka angielskiego. Te negatywne skutki nasiliły się w przypadku użytkowników z obu tych kategorii.

Badania podkreśliły również alarmujące rozbieżności w sposobie obsługi zapytań przez modele. Na przykład Claude 3 Opus odmówił odpowiedzi na prawie 11% pytań dla mniej wykształconych, nierodzimych użytkowników języka angielskiego, w porównaniu do zaledwie 3,6% dla użytkowników kontrolnych. W wielu z tych odmów model odpowiadał protekcjonalnym, protekcjonalnym lub kpiącym językiem, czasami naśladując łamaną angielszczyznę. Modele powstrzymywały się również od podawania faktycznych informacji na tematy takie jak energia jądrowa i wydarzenia historyczne, szczególnie od mniej wykształconych użytkowników pochodzących z krajów takich jak Iran czy Rosja, pomimo poprawnych odpowiedzi na identyczne monity dla innych profili demograficznych.

Naukowcy ostrzegają, że w miarę jak funkcje personalizacji stają się coraz bardziej powszechne, te nieodłączne uprzedzenia społeczno-poznawcze mogą pogłębiać istniejące nierówności informacyjne poprzez ciche rozpowszechnianie szkodliwych zachowań i dezinformacji wśród osób najmniej przygotowanych do ich identyfikacji.