Jak rozpoznać oszusta AI

Teraz uczniowie mogą z łatwością używać sztucznej inteligencji do pisania esejów na zajęcia. Zdjęcie: Getty Images.

,,Labirynty labiryntowe’’. Nie wiem, co dokładnie uderzyło mnie w tych dwóch słowach, ale sprawiły, że na chwilę się zatrzymałam. Jednak w miarę czytania zaczął mi dzwonić dzwonek alarmowy. Oceniałam konkurs na literaturę naukową dla uczniów w wieku 14-16 lat, ale w tym konkretnym eseju język był tak wyrafinowany, że wydawał się mało prawdopodobny w przypadku nastolatka.

 Przepuściłam esej za pomocą oprogramowania wykrywającego sztuczną inteligencję. W ciągu kilku sekund Copyleaks wyświetliło wynik na moim ekranie i było to głęboko rozczarowujące: 95,9% tekstu prawdopodobnie zostało wygenerowanych przez sztuczną inteligencję. Musiałam się upewnić, więc sprawdziłam to za pomocą innego narzędzia: Sapling, które zidentyfikowało 96,1% tekstów innych niż ludzkie. Trzeci potwierdził dwa pierwsze, ale miał nieco słabszy wynik: 89% AI. Potem przepuściłam to przez jeszcze jeden program o nazwie Winston AI. Nie pozostawiało wątpliwości: 1% człowieka. Wszystkie cztery oddzielne programy do wykrywania sztucznej inteligencji miały jeden jasny komunikat: jest to oszust AI.

 Od jakiegoś czasu wiedziałam, że treści pisane przez sztuczną inteligencję stwarzają poważne wyzwania dla wielu branż, w tym dla mojej własnej profesji dziennikarskiej. Jednak tutaj zostałam zaskoczona, ponieważ pewien student uznał, że dopuszczalne będzie przesłanie pracy napisanej przez sztuczną inteligencję na konkurs pisarski. Oczywiście to, że uczniowie próbują ściągać, nie jest niczym nowym. Uderzyło mnie to, że zamierzone wykorzystanie sztucznej inteligencji może być bardziej powszechne, niż mi się wydawało. Wpatrując się przede mną w fałszywy uczniowski esej, nie mogłam powstrzymać się od zmartwień. Jako matka ośmioletniego dziecka, które ma jeszcze przed sobą długą drogę edukacyjną, widok sztucznej inteligencji wykorzystywanej przez dziecko w wieku szkolnym wzbudził we mnie ogromne obawy co do integralności i wartości procesu uczenia się w przyszłości.

 Jak więc możemy wykryć oszustów AI? Czy istnieją jakieś wskazówki i podpowiedzi? Na szczęście pojawiają się nowe narzędzia. Jednak, jak wkrótce odkryłam, problem fałszowania sztucznej inteligencji wykracza poza świat edukacji - a sama technologia nie wystarczy, aby zareagować na tę zmianę.

W przypadku ściągania uczniów pocieszająca wiadomość jest taka, że ​​nauczyciele i pedagodzy dysponują już narzędziami i strategiami, które mogą pomóc im w sprawdzaniu wypracowań. Na przykład Turnitin - firma zajmująca się oprogramowaniem do zapobiegania plagiatom, z którego korzystają instytucje edukacyjne, udostępniła w kwietniu funkcję wykrywania pisania za pomocą sztucznej inteligencji. Dyrektor generalny tej firmy, Chris Caren, powiedział mi, że odsetek fałszywych pozytywnych wyników oprogramowania (kiedy błędnie identyfikuje tekst napisany przez człowieka jako sztuczną inteligencję) wynosi 1%.

 Istnieją również narzędzia internetowe, takie jak te, których używałam do sprawdzania moich esejów studenckich, takie jak Copyleaks, Sapling i Winston AI lub inne, takie jak GPTZero i ,,klasyfikator AI’’ wydany przez OpenAI, twórcę ChatuGPT. Większość z nich jest bezpłatna: wystarczy wkleić tekst na ich stronach internetowych, aby uzyskać wynik.

 Jak sztuczna inteligencja może wykryć inną sztuczną inteligencję? Krótka odpowiedź to rozpoznawanie wzorców. Dłuższa odpowiedź jest taka, że ​​warcaby używają unikalnych identyfikatorów, które odróżniają pismo ludzkie od tekstu wygenerowanego komputerowo. ,,Zakłopotanie’’ i ,,Szybkość’’ to prawdopodobnie dwie kluczowe metryki w śledzeniu tekstu przez sztuczną inteligencję.

 Zakłopotanie mierzy, jak dobrze model językowy radzi sobie z pisaniem dobrych, poprawnych gramatycznie możliwych zdań - krótko mówiąc, jak dobrze przewiduje następne słowo. Ludzie mają tendencję do pisania z innym zakłopotaniem niż sztuczna inteligencja, za pomocą bardziej nieprzewidywalnych i różnorodnych zdań.

 Szybkość odnosi się do wariancji zdań. W tekście pisanym sztuczna inteligencja jest zwykle bardziej jednolita: struktura i długość zdań są na ogół regularne i mniej kreatywne w doborze słów i użyciu wyrażeń. Częstotliwość i kombinacja terminów, powtarzających się wyrażeń i struktur zdań tworzą skupiska, którym brakuje różnorodności rozszerzonego słownictwa i rozkwitającego stylu, jaki normalnie prezentowałby tekst pisany przez człowieka.

Jednak sztuczna inteligencja jest coraz lepsza w brzmieniu ludzkim. Oczywistym już jest, że te narzędzia do wykrywania nie są niezawodne. W niedawnym artykule badaczy z Uniwersytetu Stanforda detektory GPT wykazały stronniczość w stosunku do pisarzy, dla których angielski nie jest rodzimym językiem. Ocenili działanie siedmiu powszechnie używanych detektorów GPT na podstawie 91 esejów TOEFL (Test of English as a Foreign Language) z chińskiego forum i 88 esejów amerykańskich ósmych klas ze zbioru danych ASAP (Automated Student Assessment Prize) Fundacji Hewlett. Detektory dokładnie zmierzyły eseje studentów z USA, ale błędnie oznaczyły ponad połowę esejów egzaminu TOEFL jako ,,wygenerowane przez sztuczną inteligencję’’ (średni odsetek wyników fałszywie pozytywnych: 61,3%).

 Dla dyrektora generalnego GPTZero - Edwarda Tiana - wykrycie to tylko połowa rozwiązania. Uważa, że ​​lekarstwem na nieodpowiedzialne wykorzystanie sztucznej inteligencji nie jest wykrywanie, ale nowe narzędzia weryfikacji pisania. Pomogłoby to przywrócić przejrzystość procesu pisania - twierdzi. Jego wizją są aktywni studenci, którzy podczas pisania w przejrzysty i odpowiedzialny sposób ujawniają zaangażowanie sztucznej inteligencji. ,,Zaczęliśmy tworzyć pierwsze narzędzie do weryfikacji przez ludzi, aby uczniowie mogli udowodnić, że są autorami’’ - mówi Tian.

 Człowiek w pętli

 Oto prawdziwe wyzwanie dla ludzi w miarę rozprzestrzeniania się pisma tworzonego przez sztuczną inteligencję: prawdopodobnie nie możemy polegać na technologii, aby to wykryć. Ważne jest zatem sceptyczne, dociekliwe podejście do informacji, które rutynowo sprawdza ich prawdziwość. Pomyślałam o sprawdzeniu mojego eseju uczniowskiego za pomocą narzędzia do sprawdzania sztucznej inteligencji tylko dlatego, że od początku byłam podejrzliwa.

 Wojna z dezinformacją pokazała nam już, że same zautomatyzowane narzędzia nie wystarczą i potrzebujemy ludzi, którzy będą czuwać nad sytuacją. Jedną z osób, która widziała to na własne oczy, jest Catherine Holmes - dyrektor prawna Biura ds. Spraw Zagranicznych, Wspólnoty Narodów i Rozwoju w Whitehall, która od dziesięcioleci pracuje w brytyjskich departamentach bezpieczeństwa narodowego. Jej zdaniem, chcąc potwierdzić informacje, które mogą być fałszywe, najważniejszy jest osąd ludzi. ,,Próbujesz dowiedzieć się, czy ta część informacji jest rzeczywiście dokładna, w oparciu o faktyczny wgląd istoty ludzkiej’’.

 Podobnie jest w świecie oszustw. W globalnej firmie księgowej - PricewaterhouseCoopers, gdzie dyrektor ds. usług kryminalistycznych Rachael Joyce pomaga klientom w dochodzeniach w sprawie oszustw i niewłaściwego postępowania, nadzór i wgląd ze strony człowieka stanowią kluczową część procesu: ,,Element ludzki wnosi warstwę krytyki i wiedzę kontekstową do dochodzeń, w których AI nie jest zbyt dobry’’.

 Oszustwa kryminalne

Umiejętność dostrzegania treści generowanych przez sztuczną inteligencję będzie miało znaczenie także poza światem edukacji. Cyberprzestępcy wykorzystują obecnie systemy sztucznej inteligencji do tworzenia fałszywych profili, dokumentów i zapisów transakcji, aby oszukać ludzi i instytucje na pieniądze. Aby przetestować to na początku tego roku, dziennikarz ,,Vice’’ chciał sprawdzić, jak łatwo byłoby włamać się na jego własne konto bankowe za pomocą głosu generowanego przez sztuczną inteligencję. Skorzystał z bezpłatnej usługi tworzenia głosu o nazwie ElevenLabs, firmy zajmującej się sztuczną inteligencją, aby stworzyć syntetyczny klon swojego głosu. To i jego data urodzenia wystarczyły, aby oszukać zautomatyzowany system bankowy i uzyskać dostęp do swojego konta.

 Jakie zatem sprawdzenie AI możesz przeprowadzić samodzielnie? Przez ostatnie kilka lat zbierałem informacje i pisałem książkę zatytułowaną The Truth Detective, która jest o tym, jak poprawić swoje krytyczne myślenie. Oto kilka podstawowych pytań, które poznałem i które mogą Ci pomóc rozpocząć pracę detektywa wykorzystującą sztuczną inteligencję.

 Twoim pierwszym zadaniem jest weryfikacja. Czy możesz zweryfikować i sprawdzić źródła? Czy możesz sprawdzić dowody - zarówno pisemne, jak i wizualne? Jak Ty to robisz? Sprawdzać krzyżowo. Jeśli nie możesz sprawdzić krzyżowo lub znaleźć materiałów pomocniczych z innych renomowanych źródeł, należy wzbudzić swoje podejrzenia. ,,Występuje problem halucynacji związany z generowaną sztuczną inteligencją, która zmyśla rzeczy’’ - mówi Caren z Turnitin. ,,Weryfikacja faktów jest niezwykle ważna dla konsumenta treści lub osoby korzystającej ze sztucznej inteligencji, aby zwiększyć produktywność’’.

 Następnym krokiem jest bliższe przyjrzenie się tekstowi. Pewne wskazówki można znaleźć w pisowni, użyciu gramatyki i interpunkcji. Na razie domyślnym językiem AI jest nadal amerykański angielski. Jeśli pisownia i gramatyka nie jest odpowiednia dla publikacji lub piszącego ją autora, zapytaj: dlaczego? Czy zawiera cytaty? Jeśli tak, kogo dotyczą cytaty - czy te osoby lub instytucje istnieją? Zrób to również w przypadku wszelkich wykorzystanych odniesień i sprawdź, z jakiej pochodzą daty: świadczy to o tym, że sztuczna inteligencja często ma nadal ograniczone źródła danych, do których może uzyskać dostęp, i może nie być świadoma najnowszych wiadomości. Czy są jakieś odniesienia do konkretnej wiedzy? Ich brak może wskazywać na oszustwo.

 Na koniec sprawdź ton, głos i styl pisania. Istnieją wzorce językowe, które nadal są obecne w tekście generowanym przez sztuczną inteligencję (przynajmniej na razie). Szczególnym z nich jest nagła zmiana tonu i głosu.

 Poniższy przykład jest być może ostrym przypomnieniem, że sztuczna inteligencja może łatwo wymyślać rzeczy, które mogą wydawać się prawdopodobne i bardzo realne, ale absolutnie wymagają sprawdzenia krzyżowego.

 W czerwcu 2023 r., w sytuacji, którą sądy określiły jako ,,bezprecedensową’’, prawnik Steven A. Schwartz z Nowego Jorku próbował złożyć wniosek, co doprowadziło go do dyskusji z sędzią. Dlaczego? Cytaty i opinie sądowe, które przedstawił, po prostu nie istniały. Korzystał z ChatuGPT, co zapewniło go, że sprawy są prawdziwe i że można je znaleźć w witrynach badań prawnych, takich jak Westlaw i LexisNexis. Przykładowo, w odpowiedzi na prośbę Schlowwartza o ,,pokazanie [mu]’’ dowodów w danej sprawie, ChatGPT odpowiedział: ,,Oczywiście! Oto krótki fragment…’’ Następnie w dalszym ciągu podawał obszerne fragmenty zawierające halucynacje i korzystne cytaty. Schwartz powiedział, że był upokorzony. Uważał, że ChatGPT jest wyszukiwarką podobną do Google.

Nie we wszystkich przypadkach będzie to jednak tak rażąco oczywiste. Tak więc, gdy wszyscy wkraczamy w sztucznie zaprojektowaną przyszłość, jasne jest, że potrzebny będzie ludzki sposób myślenia. Rzeczywiście, nasze umiejętności śledcze i techniki krytycznego myślenia mogą być bardziej pożądane niż kiedykolwiek wcześniej.