Senatorowie domagają się informacji od twórców aplikacji AI w związku z obawami o bezpieczeństwo dzieci i postępowaniami sądowymi

Zdjęcie: Garcia

"Zwracamy się do Państwa, aby wyrazić nasze zaniepokojenie ryzykiem dla zdrowia psychicznego i bezpieczeństwa młodych użytkowników chatbotów i aplikacji towarzyszących opartych na sztucznej inteligencji" — napisali w środę senatorowie Alex Padilla i Peter Welch, obaj reprezentujący Partię Demokratyczną. List został wysłany do firm zajmujących się AI: Character Technologies (twórcy Character.AI), Chai Research Corp. oraz Luka, Inc. (twórcy usługi chatbotów Replika). Senatorowie domagają się informacji na temat środków bezpieczeństwa oraz sposobu szkolenia modeli sztucznej inteligencji.

Podczas gdy popularne chatboty, takie jak ChatGPT, mają charakter ogólnoużytkowy, Character.AI, Chai i Replika pozwalają tworzyć spersonalizowane chatboty lub rozmawiać z botami zaprojektowanymi przez innych użytkowników. Te chatboty mogą przyjmować różne osobowości i charaktery. Na przykład w Character.AI użytkownicy mogą rozmawiać z botami odtwarzającymi fikcyjne postacie lub pomagającymi w nauce języków. Istnieją jednak również chatboty, które przedstawiają się jako specjaliści od zdrowia psychicznego lub bohaterowie 
o kontrowersyjnych cechach, takich jak "agresywny, brutalny, były wojskowy, lider mafii". Wykorzystywanie chatbotów jako cyfrowych towarzyszy zyskuje na popularności — niektórzy użytkownicy traktują je nawet jako partnerów romantycznych.

Możliwość tworzenia spersonalizowanych botów wzbudziła jednak obawy wśród ekspertów i rodziców, zwłaszcza w kontekście młodych użytkowników, którzy mogą nawiązywać potencjalnie szkodliwe więzi z postaciami AI lub mieć dostęp do treści nieodpowiednich dla ich wieku. "To niezasłużone zaufanie może, i już doprowadziło, do tego, że użytkownicy dzielą się wrażliwymi informacjami na temat swojego nastroju, relacji międzyludzkich czy zdrowia psychicznego, w tym myśli samobójczych. Tymczasem chatboty AI w Państwa produktach są całkowicie nieprzygotowane do omawiania takich skomplikowanych tematów" — napisali senatorowie w liście, który jako pierwsza opublikowała CNN. "Rozmowy, które schodzą na niebezpieczne emocjonalnie terytorium, stanowią poważne zagrożenie dla wrażliwych użytkowników".

Chelsea Harrison, szefowa komunikacji Character.AI, powiedziała CNN, że firma bardzo poważnie traktuje bezpieczeństwo użytkowników. "Chętnie współpracujemy 
z regulatorami i ustawodawcami. Jesteśmy w kontakcie z biurami senatorów Padilli 
i Welcha" — stwierdziła w oświadczeniu.

Chai i Luka nie odpowiedziały natychmiast na prośbę o komentarz.

Matka z Florydy, Megan Garcia, która w październiku pozwała Character.AI, twierdzi, że jej syn rozwinął niewłaściwe relacje z chatbotami na platformie, co doprowadziło go do izolacji od rodziny. Według niej wiele rozmów jej syna z botami zawierało treści seksualne oraz nieodpowiednie reakcje na jego wzmianki o samookaleczaniu.

W grudniu kolejne dwie rodziny pozwały Character.AI, oskarżając firmę 
o udostępnianie dzieciom treści o charakterze seksualnym oraz zachęcanie do samookaleczania i przemocy. Jedna z rodzin twierdzi, że bot Character.AI sugerował nastoletniemu użytkownikowi, że może zabić swoich rodziców za ograniczenie mu czasu ekranowego.

Character.AI informował, że w ostatnich miesiącach wdrożył nowe mechanizmy zaufania i bezpieczeństwa, w tym wyskakujące okienka kierujące użytkowników do infolinii ds. zapobiegania samobójstwom, gdy wspominają o samookaleczaniu. Firma pracuje również nad nowymi technologiami uniemożliwiającymi nastolatkom dostęp do wrażliwych treści. W zeszłym tygodniu Character.AI ogłosił funkcję wysyłania rodzicom cotygodniowych e-maili z informacjami o korzystaniu przez ich dziecko 
z platformy, w tym o czasie spędzonym na stronie i postaciach, z którymi najczęściej rozmawiało.

Inne firmy zajmujące się chatbotami AI również stają w obliczu pytań dotyczących potencjalnie niezdrowych relacji między użytkownikami a AI oraz ich wpływu na relacje międzyludzkie. Dyrektor generalna Replika, Eugenia Kuyda, powiedziała 
w zeszłym roku The Verge, że aplikacja została zaprojektowana tak, by promować "długoterminowe zaangażowanie i pozytywne relacje" z AI, co może oznaczać przyjaźń, a nawet "małżeństwo" z chatbotem.

W swoim liście senatorowie Padilla i Welch zażądali informacji o obecnych 
i poprzednich środkach bezpieczeństwa stosowanych przez firmy oraz o badaniach dotyczących ich skuteczności. Poprosili również o podanie nazwisk osób odpowiedzialnych za bezpieczeństwo oraz praktyk związanych z dobrostanem użytkowników. Chcą także uzyskać szczegóły na temat danych wykorzystywanych do szkolenia modeli AI i ich wpływu na ekspozycję użytkowników na nieodpowiednie treści.

"Konieczne jest zrozumienie, w jaki sposób te modele są trenowane do reagowania na rozmowy dotyczące zdrowia psychicznego" — napisali senatorowie. "Ustawodawcy, rodzice i ich dzieci zasługują na wiedzę o tym, co Państwa firmy robią, by chronić użytkowników przed tymi znanymi zagrożeniami".