Wykrywacze GPT błędnie klasyfikują pismo obce w języku angielskim

Naukowcy ujawniają że programy służące do sprawdzania czy tekst został napisany przez sztuczną inteligencję zazwyczaj błędnie oznaczają teksty napisane przez autorów dla których język angielski nie jest językiem ojczystym  jako wytworzone przez sztuczną inteligencję. Przestrzegają oni przed używaniem tych czujników ze względu na ich zawodność, która może negatywnie odbić się na użytkownikach. 

W recenzowanym referacie, opublikowanym 10 lipca na łamach czasopisma Patterns naukowcy ujawniają że programy służące do sprawdzania czy tekst został napisany przez sztuczną inteligencję zazwyczaj błędnie oznaczają teksty napisane przez autorów dla których język angielski nie jest językiem ojczystym jako wytworzone przez sztuczną inteligencję. “Radzimy bycie bardzo ostrożnymi oraz unikanie tych czujniów tak bardzo jak to możliwe,” powiedział James Zou z Uniwersytetu Stanforda. “Używanie tych czujników może mieć znaczący wpływ podczas rozpatrywania podań o pracę i zapisów na uczelnie, oraz recenzowania esejów i zadań szkolnych.” 

Sztuczna inteligencja taka jak chatbot firmy OpenAI, ChatGPT potrafią pisać eseje, rozwiązywać problemy naukowe i matematyczne jak i tworzyć kod do oprogramowania. Nauczyciele i wykładowcy coraz bardziej zaniepokojeni sią wykorzystaniem sztucznej inteligencji w pracach uczniów i studentów, przez co wielu zaczęło wykorzystywać czujniki GPT do ich skanowania. Czujniki te są platformami twierdzącymi iż mogą zidentyfikować czy dany tekst został wygenerowany przez sztuczną inteligencję , jednak ich niezawodność i efektywność jest wciąż niezdefiniowana.  

Zou oraz jego zespół poddali próbie 7 często używanych czujników. Przeskanowano nimi 91 esejów w języku angielskim napisanych przez autorów dla których angielski jest językiem obcym, na test sprawdzający sprawność posługiwania się językiem angielski TOEFL (Test of English as a Foreign Language). Ponad połowa prac została błędnie oznaczona jako wygenerowana przez sztuczną inteligencję,  jeden z czujników podawał że 98% prac została wytworzona przez AI. Jednocześnie czujniki te poprawnie podawały eseje napisane przez ósmoklasistów ze Stanów Zjednoczonych jako napisane przez człowiek  (ponad 90%). 

Zou tłumaczy że algorytmy czujników działają na zasadzie oceny tekstu pod względem jego trudności w odbiorze związanym z doborem słownictwa. “Gdybyśmy użyli często używanych słów, czujniki przyznaliby nam niski poziom trudność w odbiorze i najprawdopodobniej oznaczyły by naszą pracę jako wygenerowaną przez AI. Gdybyśmy użyli skomplikowanych i wysublimowanych słów nasza praca została by oznaczona jako napisana przez człowieka.” Jest to spowodowane używaniem przez sztuczną inteligencję często używanego słownictwa by lepiej symulować język przeciętnej osoby podczas generowania tekstów, tłumaczył Zou. 

Konsekwencją wyboru częściej używanych słów przez osoby dla których język angielski nie jest językiem ojczystym, jest większe prawdopodobieństwo bycia oznaczonym jako osoba wykorzystująca AI. 

Naukowcy przekazali następnie eseje chatu GPT w celu zmiany słownictwa oraz fraz na bardziej wyrafinowane. Czytniki oznaczały te zredagowane przez AI eseje jako napisane przez człowieka. 

“Powinniśmy być ostrożni podczas używania któregokolwiek z tych czujników w środowisku szkolnym, ze względu na ich wciąż znaczącą stronniczość, oraz łatwość wprowadzaniu w błąd podczas tworzenia poleceń.” powiedział naukowiec. Używanie czujników GPT może również wprowadzać zamieszanie w innych sektorach niż edukacyjny. Na przykład wyszukiwarki takie jak Google dewaluują treści wygenerowane przez AI, co może spowodować nieumyślne wyciszenie autorów angielskojęzycznych obcego pochodzenia. 

Mimo iż sztuczna inteligencja może mieć pozytywny wpływ na proces nauki uczniów i studentów, czujniki GPT powinny zostać usprawnione a efekty ich prac szczegółowo ocenione, zanim będzie można je wprowadzić do szerszego użytku. Zou mówi iż ćwiczenie algorytmów czujników na bardziej różnorodnej bazie stylów pisania może być sposobem na ich usprawnienie.

Dodatkowe źródło:  https://www.cell.com/patterns/fulltext/S2666-3899(23)00130-7#%20