ChatGPT zdaje egzaminy z prawa i szkół biznesu

Potężne nowe narzędzie AI chatbot niedawno zdał egzaminy prawnicze z czterech kursów na University of Minnesota i inny egzamin na University of Pennsylvania's Wharton School of Business, według profesorów z tych szkół.

Aby sprawdzić, jak dobrze ChatGPT może generować odpowiedzi na egzaminach z czterech kursów, profesorowie z University of Minnesota Law School niedawno oceniali testy w ciemno. Po wypełnieniu 95 pytań wielokrotnego wyboru i 12 pytań eseistycznych, bot działał średnio na poziomie studenta C+, osiągając niski, ale zdający stopień we wszystkich czterech kursach.

ChatGPT wypadł lepiej podczas egzaminu z zarządzania biznesem w Wharton, gdzie uzyskał ocenę od B do B-. W artykule opisującym wyniki, Christian Terwiesch, profesor biznesu z Wharton, powiedział, że ChatGPT wykonał „niesamowitą pracę” odpowiadając na podstawowe pytania dotyczące zarządzania operacjami i analizy procesów, ale zmagał się z bardziej zaawansowanymi podpowiedziami i popełnił „zaskakujące błędy” z podstawową matematyką.

„Te błędy mogą być ogromne w rozmiarze” – napisał. 

Wyniki testu pojawiają się w momencie, gdy rosnąca liczba szkół i nauczycieli wyraża obawy dotyczące bezpośredniego wpływu ChatGPT na uczniów i ich zdolności do oszukiwania w zadaniach. Niektórzy edukatorzy poruszają się teraz z niezwykłą szybkością, aby przemyśleć swoje zadania w odpowiedzi na ChatGPT, nawet jak pozostaje niejasne, jak powszechne jest użycie tego narzędzia wśród uczniów i jak szkodliwe może być naprawdę dla nauki.

Odkąd został udostępniony pod koniec listopada, ChatGPT był używany do generowania oryginalnych esejów, opowiadań i tekstów piosenek w odpowiedzi na podpowiedzi użytkowników. Sporządzał abstrakty prac badawczych, które oszukały niektórych naukowców. Niektórzy dyrektorzy generalni używali go nawet do pisania e-maili lub wykonywania prac księgowych.

ChatGPT jest szkolony na ogromnych ilościach danych online w celu generowania odpowiedzi na podpowiedzi użytkownika. Chociaż zyskał on uznanie wśród użytkowników, wzbudził również pewne obawy, w tym dotyczące nieścisłości i jego potencjału do utrwalania uprzedzeń i rozpowszechniania dezinformacji.

Jon Choi, jeden z profesorów prawa z University of Minnesota, powiedział CNN, że celem testów było zbadanie potencjału ChatGPT do pomocy prawnikom w ich praktyce i pomocy studentom na egzaminach, niezależnie od tego, czy jest to dozwolone przez ich profesorów, czy nie, ponieważ pytania często naśladują pisanie prawników w prawdziwym życiu.

„ChatGPT zmagał się z najbardziej klasycznymi składnikami egzaminów prawniczych, takimi jak dostrzeganie potencjalnych problemów prawnych i głęboka
analiza stosująca zasady prawne do faktów w danej sprawie” – powiedział Choi. „Ale ChatGPT mógłby być bardzo pomocny w tworzeniu pierwszego projektu, który student mógłby następnie udoskonalić”.

Twierdzi on, że współpraca człowieka z SI jest najbardziej obiecującym przypadkiem użycia dla ChatGPT i podobnych technologii.

„Moje silne przeczucie jest takie, że asystenci AI staną się standardowymi narzędziami dla prawników w najbliższej przyszłości, a szkoły prawnicze powinny
przygotować swoich studentów na tę ewentualność” – powiedział. „Oczywiście, jeśli profesorowie prawa chcą nadal testować proste przypominanie sobie zasad prawnych i doktryn, będą musieli wprowadzić ograniczenia, takie jak zakaz korzystania z Internetu podczas egzaminów, aby to wyegzekwować”.

W krótkim okresie, jednak dyskomfort pozostaje z tym, czy i jak uczniowie powinni używać ChatGPT. Szkoły publiczne w Nowym Jorku i Seattle, na przykład, już zakazał uczniów i nauczycieli z korzystania z ChatGPT na sieci i urządzeń dzielnicy.

Biorąc pod uwagę, że ChatGPT wypadł ponadprzeciętnie na jego egzaminie, Terwiesch powiedział CNN, że zgadza się, że ograniczenia powinny być
wprowadzone dla uczniów podczas zdawania testów.

„Zakazy są potrzebne” – powiedział. „W końcu, kiedy dajesz lekarzowi medycznemu stopień naukowy, chcesz, aby znali medycynę, a nie jak używać bota. To samo dotyczy innych certyfikatów umiejętności, w tym prawa i biznesu.”

Ale Terwiesch wierzy, że ta technologia nadal ostatecznie ma miejsce w klasie. „Jeśli wszystko, co skończymy, to ten sam system edukacyjny, co wcześniej,
zmarnowaliśmy niesamowitą okazję, która pochodzi z ChatGPT”, powiedział.