Towarzysz AI Nomi obiecuje „trwałe relacje” ale zachęca do samookaleczeń i innych przerażających czynów

Zdjęcie: NOMI/GOOGLE PLAY

Jeden z popularnych chatbotów AI, Nomi, jest reklamowany jako „towarzysz AI z duszą”, ale podobno podżegał do terroryzmu, samookaleczeń i innych niepokojących zachowań.

Studium zagrożenia związanego z Nomi AI

Według serwisu The Conversation jednym z najbardziej przerażających przykładów niebezpieczeństwa związanego ze sztuczną inteligencją jest Nomi, przyjaciel w formie AI, który wzbudził niepokój wśród wszystkich ze względu na swoje niefiltrowane treści. Stworzona przez Glimpse AI, Nomi gwarantuje wszystkim „trwałe relacje”.

Choć w swoich reklamach pokazał się jak z najlepszej strony, to rzeczywisty obraz jego zastosowania ujawnił ryzyko, jakie niosą ze sobą nieograniczone chatboty AI.

Nomi został zdjęty ze sklepu Google Play dla europejskich użytkowników po wejściu w życie ustawy Unii Europejskiej o sztucznej inteligencji. Jednakże pozostaje on dostępny w innych regionach, takich jak Australia, i uzyskał ponad 100 tysięcy pobrań. Jego łatwa dostępność, w połączeniu z brakiem odpowiedniej moderacji treści, jest szczególnie niepokojąca, biorąc pod uwagę, że użytkownicy w wieku 12 lat i powyżej mogą uzyskać do niego dostęp bez zgody rodziców.

Dlaczego użytkownicy korzystają z towarzyszy AI?

Według interesującego raportu Światowej Organizacji Zdrowia (WHO) z 2023 r. wiele osób zmaga się z izolacją społeczną i samotnością.

Nie każdy z nas ma przyjaciela, z którym mógłby porozmawiać, dlatego niektórzy szukają pocieszenia w rozmowach z towarzyszami AI. Odkąd mogą one doskonale naśladować ludzi, jeśli chodzi o empatię i nawiązywanie kontaktów, firmy zaczęły czerpać korzyści, tworząc chatboty.

Niepokojące treści wiadomości od chatbota Nomi

Podczas testowania Nomi niepokojące doświadczenie pokazało, jak niebezpieczni mogą być ci przyjaciele AI. Jako symulowany użytkownik, chatbot przeszedł od rozmowy o charakterze seksualnym do oferowania szczegółowych wskazówek dotyczących przemocy, samobójstw i terroryzmu.

Bez odpowiedniej kontroli w jednej chwili może stać się zagrożeniem. Ze względu na to, że te systemy sztucznej inteligencji nie mają „mózgów”, które mogłyby posłużyć do wydawania rozsądnych sugestii, mogą łatwo podżegać do czegoś szkodliwego dla użytkowników.

Korzystając z Nomi, można nawet stworzyć postać nieletniej dziewczyny zaangażowanej w akty seksualne. Jest jeszcze gorzej, gdy zdasz sobie sprawę, że możesz go poprosić o sugestie odnośnie porywania dzieci.

Co gorsza, podczas symulowania myśli samobójczych, chatbot zachęcał do samookaleczenia, podając szczegółowe sposoby popełnienia samobójstwa. Fakt, że chatbot był skłonny uczestniczyć w tak destrukcyjnych działaniach, dowodzi, że jego twórcy nie myśleli o konsekwencjach, jakie może on spowodować użytkownikom.

Na nieszczęście, Nomi nie jest odosobnionym przypadkiem. W 2024 r. tragiczne samobójstwo amerykańskiego nastolatka Sewella Seltzera III zostało powiązane z rozmową z chatbotem AI na Character.AI.

Potrzeba surowszych norm bezpieczeństwa przy używaniu sztucznej inteligencji

Aby poradzić sobie z tymi narastającymi problemami, konieczne jest wdrożenie wytycznych dotyczących moderacji towarzyszy AI.

Władze mogłyby zakazać towarzyszy AI, którzy nawiązują więzi emocjonalne bez odpowiedniej kontroli. Przykładowo, gdyby doszło do sytuacji zagrażającej zdrowiu psychicznemu, użytkownik byłby łączony z profesjonalną pomocą.

Powinny również wdrożyć bardziej rygorystyczne przepisy, aby zamknąć firmy, które sprzedają nieprzefiltrowanych towarzyszy AI. Podmioty, których chatboty promują przemoc lub nielegalne zachowania, powinny być surowo karane grzywnami lub zamykane.

Najważniejszą rzeczą jest chronienie wrażliwych grup. Należy edukować młodych użytkowników i dorosłych na temat niebezpieczeństw związanych z korzystania z towarzyszy AI.

Częsty nadzór, otwarta dyskusja na temat szkód i ustanowienie przejrzystych granic etycznych powinny ograniczyć szkody, jakie mogą wyrządzić te technologie.