Chatboty AI nie są w stanie dokładnie streszczać wiadomości, stwierdza BBC

Zdjęcie: GettyImages 

Stwierdzono, że uzyskane odpowiedzi zawierały „znaczące nieścisłości” i zniekształcenia. Na blogu Deborah Turness, dyrektor generalna BBC News and Current Affairs, powiedziała, że sztuczna inteligencja przynosi „nieskończone możliwości”, ale firmy opracowujące narzędzia „igrają z ogniem”. „Żyjemy w niespokojnych czasach i ile czasu minie, zanim zniekształcony przez sztuczną inteligencję nagłówek spowoduje znaczne szkody w świecie rzeczywistym?”, zapytała. Rzecznik OpenAI powiedział: „Wspieramy wydawców i twórców, pomagając 300 milionom tygodniowych użytkowników ChatGPT odkrywać wysokiej jakości treści poprzez podsumowania, cytaty, wyraźne linki i atrybucję”. Inne firmy technologiczne, które są właścicielami chatbotów, zostały poproszone o komentarz.

„Wycofać się”

W badaniu BBC poprosiło ChatGPT, Copilot, Gemini i Perplexity o podsumowanie 100 wiadomości i oceniło każdą odpowiedź. Dziennikarze, którzy byli odpowiednimi ekspertami w temacie artykułu, ocenili jakość odpowiedzi udzielonych przez asystentów AI. Okazało się, że 51% wszystkich odpowiedzi AI na pytania dotyczące wiadomości zostało uznanych za mające istotne problemy w jakiejś formie. Ponadto 19% odpowiedzi AI, które cytowały treści BBC, zawierało błędy rzeczowe, takie jak nieprawidłowe stwierdzenia faktyczne, liczby i daty. Na swoim blogu pani Turness powiedziała, że BBC stara się „otworzyć nową rozmowę z dostawcami technologii AI”, abyśmy mogli „współpracować w partnerstwie w celu znalezienia rozwiązań”. Wezwała firmy technologiczne do „wycofania” swoich podsumowań wiadomości AI, tak jak zrobiła to firma Apple po skargach ze strony BBC, że Apple Intelligence błędnie przedstawia wiadomości.

Niektóre przykłady nieścisłości znalezionych przez BBC obejmowały:

1. Gemini błędnie stwierdziło, że NHS nie zaleca vapingu jako pomocy w rzuceniu palenia
2. ChatGPT i Copilot stwierdziły, że Rishi Sunak i Nicola Sturgeon nadal pełnili swoje funkcje, nawet po ich odejściu.
3. Perplexity błędnie zacytowało BBC News w artykule o Bliskim Wschodzie, mówiąc, że Iran początkowo wykazał „powściągliwość” i opisał działania Izraela jako „agresywne”.

Ogólnie rzecz biorąc, Copilot Microsoftu i Gemini Google miały poważniejsze problemy niż ChatGPT OpenAI i Perplexity, które liczy Jeffa Bezosa jako jednego z inwestorów.

Zwykle BBC blokuje swoje treści przed chatbotami AI, ale otworzyła swoją stronę internetową na czas trwania testów w grudniu 2024 roku. W raporcie stwierdzono, że oprócz nieścisłości merytorycznych, chatboty „miały trudności z odróżnieniem opinii od faktów, redagowały i często nie uwzględniały istotnego kontekstu”. Dyrektor programowy BBC ds. generatywnej sztucznej inteligencji, Pete Archer, powiedział, że wydawcy „powinni mieć kontrolę nad tym, czy i w jaki sposób ich treści są wykorzystywane, a firmy zajmujące się sztuczną inteligencją powinny pokazać, w jaki sposób asystenci przetwarzają wiadomości wraz ze skalą i zakresem błędów i nieścisłości, które produkują”. Rzecznik OpenAI powiedział BBC News: „Współpracowaliśmy z partnerami, aby poprawić dokładność cytowania in-line i uszanować preferencje wydawców, w tym umożliwić im wyświetlanie się w wynikach wyszukiwania poprzez zarządzanie OAI-SearchBot w ich pliku robots.txt. Będziemy nadal ulepszać wyniki wyszukiwania”. Robots.txt to instrukcja w kodzie strony internetowej, która prosi bota o nieużywanie tej strony w wynikach wyszukiwania.