Wykrywalność tekstów ChatGPT - model niezawodnie rozpoznaje plagiat AI

Artykuły z ChatGPT powinny wyglądać tak naturalnie, jak to tylko możliwe, wzorowane na ludzkim piśmie, z którym sztuczna inteligencja została przeszkolona. Dlatego trudno jest odróżnić taki splagiatowany tekst od rzeczywistego pisma.

Poprzednie próby automatycznego wykrywania tekstów generowanych przez sztuczną inteligencję miały wskaźnik sukcesu znacznie poniżej 50% w niektórych przypadkach. To sprawia, że 99% brzmi zupełnie inaczej i znacznie bardziej obiecująco.

Zespół z University of Kansas, który opublikował swoje wyniki 6 listopada 2023 r. na stronie sciencedirect.comudało się opracować system, który może niezawodnie oznaczać sztucznie utworzone artykuły naukowe.

Wąski obszar działania

W konfiguracji testowej teksty z trzynastu czasopism naukowych, wszystkie dotyczące chemii, porównano z łącznie 200 tekstami pochodzącymi z GPT-3.5 lub GPT-4.

Według autorów, 198 z tych tekstów zostało rozpoznanych jako wygenerowane przez sztuczną inteligencję, co odpowiada wskaźnikowi 99%. Zostało to oparte na 20 cechach tekstu, takich jak zmienna długość zdania, typowe występowanie niektórych słów lub interpunkcja. Ponadto przeprowadzono szkolenie z licznymi tekstami naukowymi z dziedziny chemii.

To połączenie klasycznej struktury i języka tekstów naukowych oraz skupienie się na jednym obszarze tematycznym odpowiada za niezawodność systemu.

W kolejnym teście z artykułami z serwisu informacyjnego detektor zawiódł jednak całkowicie. Praktycznie żadna sztucznie stworzona wiadomość nie została zidentyfikowana jako taka.

Niemniej jednak wydaje się obiecujące, że tak wysoki wskaźnik skuteczności można osiągnąć za pomocą narzędzi takich jak analiza tekstu dla określonych obszarów tematycznych.