Twórca ChatGPT wprowadza "niedoskonałe" narzędzie, aby pomóc nauczycielom w wykryciu potencjalnych oszustw

OpenAI we wtorek ogłosił nową funkcję, zwaną „klasyfikatorem tekstu AI”, która pozwala użytkownikom sprawdzić, czy esej został napisany przez człowieka czy AI. Ale nawet OpenAI przyznaje, że jest ona „niedoskonała”.

Narzędzie, które działa na angielskim tekście wygenerowanym przez AI, jest zasilane przez system uczenia maszynowego, który bierze dane wejściowe i przypisuje je do kilku kategorii. W tym przypadku, po wklejeniu tekstu takiego jak szkolne wypracowanie do nowego narzędzia, poda ono jeden z pięciu możliwych wyników, od „prawdopodobnie wygenerowanego przez AI” do „bardzo mało prawdopodobnego”.

Lama Ahmad, dyrektor badań polityki w OpenAI, powiedział CNN, że edukatorzy prosili o taką funkcję ChatGPT, ale ostrzega, że należy ją „brać z ziarnem soli”.

„Naprawdę nie zalecamy przyjmowania tego narzędzia w izolacji, ponieważ wiemy, że może się mylić i będzie się mylić w niektórych momentach - podobnie jak przy użyciu AI do jakichkolwiek celów oceny”, powiedział Ahmad. „Podkreślamy, jak ważne jest, aby utrzymać człowieka w pętli ... i że jest to tylko jeden punkt danych wśród wielu innych”.

Ahmad zauważa, że niektórzy nauczyciele odnosili się do przeszłych przykładów prac uczniów i stylu pisania, aby ocenić, czy zostały one napisane przez ucznia. Podczas gdy nowe narzędzie może zapewnić kolejny punkt odniesienia, Ahmad powiedział, że „nauczyciele muszą być naprawdę ostrożni w tym, jak włączają je do decyzji o nieuczciwości akademickiej”. Odkąd został udostępniony pod koniec listopada, ChatGPT był używany do generowania oryginalnych esejów, opowiadań i tekstów piosenek w odpowiedzi na podpowiedzi użytkowników. Przygotował abstrakty prac badawczych, które oszukały niektórych naukowców. Nawet ostatnio zdał egzaminy z czterech kursów na Uniwersytecie w Minnesocie, inny egzamin w Wharton School of Business Uniwersytetu Pensylwanii i egzamin z licencji medycznej w USA.

W trakcie tego procesu wzbudził on alarmy wśród niektórych pedagogów. Szkoły publiczne w Nowym Jorku i Seattle zakazały już uczniom i nauczycielom korzystania z ChatGPT w sieciach i urządzeniach należących do dzielnicy. Niektórzy nauczyciele z niezwykłą szybkością zmieniają swoje zadania w odpowiedzi na ChatGPT, nawet jeśli nie jest jasne, jak powszechne jest używanie tego narzędzia wśród uczniów i jak bardzo może być ono szkodliwe dla nauki.

OpenAI dołącza teraz do małej, ale rosnącej listy wysiłków mających na celu pomoc edukatorom w wykryciu, kiedy praca pisemna jest generowana przez ChatGPT. Niektóre firmy, takie jak Turnitin, aktywnie pracują nad narzędziami do wykrywania plagiatu ChatGPT, które mogłyby pomóc nauczycielom w identyfikacji, kiedy zadania są pisane przez to narzędzie. Tymczasem student Princeton Edward Tuan powiedział CNN, że ponad 95 000 osób wypróbowało już wersję beta jego własnej funkcji wykrywania ChatGPT, zwanej ZeroGPT, zauważając, że do tej pory było „niesamowite zapotrzebowanie wśród nauczycieli”. 

Jan Leike - lider w zespole wyrównującym OpenAI, który pracuje nad tym, aby narzędzie AI było zgodne z ludzkimi wartościami – wymienił kilka powodów, dla których wykrywanie plagiatu za pomocą ChatGPT może być wyzwaniem. Ludzie mogą na przykład edytować tekst, aby uniknąć identyfikacji przez narzędzie. Będzie ono również „najlepiej identyfikować tekst, który jest bardzo podobny do rodzaju tekstu, na którym go wyszkoliliśmy.”

Ponadto firma stwierdziła, że niemożliwe jest określenie, czy przewidywalny tekst - taki jak lista pierwszych 1000 liczb pierwszych – został napisany przez AI lub człowieka, ponieważ poprawna odpowiedź jest zawsze taka sama, zgodnie z postem na blogu firmy. Klasyfikator jest również „bardzo niewiarygodny” na krótkich tekstach poniżej 1000 znaków.

Podczas demonstracji z CNN przed wtorkową premierą, ChatGPT z powodzeniem oznaczył kilka dzieł. Na przykład fragment książki „Piotruś Pan” został uznany za „mało prawdopodobne”, że został wygenerowany przez SI. W poście na blogu firmy, OpenAI powiedział jednak, że w 5% przypadków błędnie oznaczył tekst napisany przez człowieka jako napisany przez SI.

Pomimo możliwości wystąpienia fałszywych pozytywów, Leike powiedział, że celem firmy jest wykorzystanie narzędzia do wywołania rozmów na temat umiejętności korzystania z AI i ewentualnie powstrzymania ludzi od twierdzenia, że tekst napisany przez AI został stworzony przez człowieka. Powiedział, że decyzja o wydaniu nowej funkcji wynika również z debaty na temat tego, czy ludzie mają prawo wiedzieć, czy wchodzą w interakcję z AI.

„To pytanie jest znacznie większe niż to, co robimy tutaj; społeczeństwo jako całość musi zmierzyć się z tym pytaniem” – powiedział.

OpenAI powiedział, że zachęca ogół społeczeństwa do dzielenia się swoimi opiniami na temat funkcji sprawdzania AI. Ahmad powiedział, że firma kontynuuje rozmowy z nauczycielami K-12 i tymi na poziomie uczelnianym i poza nim, takimi jak Uniwersytet Harvarda i Stanford Design School.

Firma postrzega swoją rolę jako „edukatora dla edukatorów”, według Ahmada, w tym sensie, że OpenAI chce uczynić ich bardziej „świadomymi technologii i tego, do czego mogą być używane, a do czego nie powinny.”

„Sami nie jesteśmy edukatorami - jesteśmy tego bardzo świadomi - a więc nasze cele to naprawdę pomoc w wyposażeniu nauczycieli w efektywne wdrażanie tych modeli w klasie i poza nią” – powiedział Ahmad. „To znaczy dać im język, aby mówić o tym, pomóc im zrozumieć możliwości i ograniczenia, a następnie wtórnie poprzez nich, wyposażyć uczniów w nawigację po złożoności, które AI już wprowadza w świecie”.