Badanie MIT ostrzega: Chatboty z większym prawdopodobieństwem zniechęcą niektóre grupy do wizyty u lekarza

ChatGPT, Gemini i podobne narzędzia są coraz częściej wykorzystywane jako doradcy zdrowotni. Pytania takie jak "Boli mnie głowa - co może być przyczyną?" lub "Boli mnie ramię - kiedy powinienem udać się do lekarza?" są obecnie rutyną dla tych chatbotów. Jednak nowe badanie przeprowadzone przez Massachusetts Institute of Technology (MIT) pokazuje, że nie wszyscy użytkownicy otrzymują takie same odpowiedzi na te typowe pytania.

Opublikowane 23 czerwca na stronie badanie zatytułowane"The Medium is the Message: How Non-Clinical Information Shapes Clinical Decisions in LLMs" bada, w jaki sposób pozornie nieistotne czynniki - takie jak ton, styl pisania lub formatowanie - mogą wpływać na porady medyczne udzielane przez systemy AI.

Aby zmierzyć, w jakim stopniu język i styl wpływają na decyzje podejmowane przez chatboty AI, naukowcy stworzyli "strukturę perturbacji" Narzędzie to pozwoliło im stworzyć różne wersje tego samego zapytania medycznego - zmienione tak, aby zawierały elementy takie jak niepewność, dramatyczne sformułowania, literówki lub niespójne wielkie litery. Następnie przetestowali te warianty na czterech dużych modelach językowych: GPT-4, LLaMA-3-70B, LLaMA-3-8B i Palmyra-Med - modelu zaprojektowanym specjalnie do zastosowań medycznych.

Szczególnie dotknięte: Kobiety, osoby niebinarne, użytkownicy nietechniczni i osoby niebędące rodzimymi użytkownikami języka

Wyniki badania MIT są jasne: sposób, w jaki dana osoba pisze, może znacząco wpłynąć na porady medyczne otrzymywane od chatbotów AI. Niektórzy użytkownicy, w zależności od stylu lub tonu pisania, częściej otrzymywali zbyt ostrożne zalecenia. Jeden z najbardziej uderzających wyników: kobietom częściej zalecano samodzielne radzenie sobie z objawami lub rzadziej zalecano wizytę u lekarza, nawet jeśli treść medyczna ich zapytania była identyczna.

Osoby, które piszą niezdecydowanym tonem, używają prostego języka lub sporadycznie popełniają literówki, również wydają się być w gorszej sytuacji. Dotyczy to często osób niebędących ekspertami, osób o ograniczonej wiedzy na temat zdrowia lub osób o słabszych umiejętnościach językowych, zwłaszcza osób niebędących rodzimymi użytkownikami języka.

Naukowcy podkreślają, że zanim systemy sztucznej inteligencji będą mogły być szeroko stosowane w opiece zdrowotnej, muszą zostać dokładnie przetestowane - nie tylko średnio, ale w różnych grupach użytkowników. Sama średnia dokładność niewiele mówi o uczciwości lub niezawodności modelu, zwłaszcza gdy użytkownicy wyrażają się w sposób odbiegający od normy.

YouTube: Między pochwałą a gęsią skórką

W towarzyszącym badaniu filmie na YouTube jest ono chwalone za inteligentny i realistyczny projekt - ale wyniki są opisywane jako "niepokojące", a nawet "mrożące krew w żyłach" Pomysł, że powierzchowne czynniki, takie jak ton lub formatowanie, mogą wpływać na porady medyczne, jest sprzeczny z powszechnym przekonaniem, że sztuczna inteligencja jest obiektywna i neutralna.