ChatGPT uzyskuje lepsze wyniki niż studenci na niektórych kierunkach uniwersyteckich

Źródło: voicebot.ai

ChatGPT może być tak dobry lub lepszy od studentów w zadaniach na około jednej czwartej kierunków uniwersyteckich. Dotyczy to jednak zazwyczaj pytań z jasną odpowiedzią, które wymagają przywołania pamięci, a nie krytycznej analizy.

Yasir Zaki i jego zespół z New York University Abu Dhabi w Zjednoczonych Emiratach Arabskich skontaktowali się z kolegami z innych wydziałów, prosząc o dostarczenie pytań oceniających z kierunków prowadzonych na uniwersytecie, w tym informatyki, psychologii, nauk politycznych i biznesu.

Ci koledzy dostarczyli również prawdziwe odpowiedzi studentów na pytania. Pytania zostały następnie przepuszczone przez sztuczną inteligencję ChatGPT, który dostarczył własne odpowiedzi.

Następnie oba zestawy odpowiedzi zostały wysłane do zespołu oceniających. „Oceniający nie byli świadomi źródeł tych odpowiedzi ani celu oceniania” – mówi Zaki.

W dziewięciu z 32 badanych kierunków, odpowiedzi ChatGPT zostały ocenione jako równie dobre lub lepsze niż odpowiedzi studentów. Czasami jego odpowiedzi były znacznie lepsze. Dla przykładu, osiągnął prawie dwa razy lepszy wynik niż przeciętny student podczas odpowiadania na pytania z kierunku o nazwie Wprowadzenie do Polityki Publicznej.

„ChatGPT wypadł znacznie lepiej w pytaniach, które wymagały przywołania informacji, ale wypadł słabo w pytaniach, które wymagały krytycznej analizy” – mówi Zaki.

Według Thomasa Lancastera z Imperial College London, wyniki te podkreślają problem, w jaki sposób uczelnie ustalają zdania. Powinny one badać krytyczne myślenie studentów, które może nie być osiągane przez ChatGPT. „Jeśli lepsze odpowiedzi są możliwe za pomocą ChatGPT, sugeruje to, że istnieją wady w projekcie zadań”.

Lancaster twierdzi również, że wiele zadań, które są podatne na oszukiwania za pośrednictwem ChatGPT, mogło być podatnych na istniejące usługi oszukiwania na lecenie. W tym przypadku studenci płacą profesjonalnym autorom esejów za wykonanie ich pracy, ale mogą również nie przeprowadzić krytycznej analizy.

Osobno Zaki i jego zespół przeprowadzili ankietę wśród pracowników akademickich i studentów w Wielkiej Brytanii, Stanach Zjednoczonych, Indiach, Japonii i Brazylii na temat ich stosunku do ChatGPT. We wszystkich krajach studenci byli bardziej skłonni powiedzieć, że skorzystaliby z chatbota, niż myśleli o tym wykładowcy.