Stwardnienie zanikowe boczne odebrało mu mowę. Sztuczna inteligencją ją przywróciła

Źródło: C. Bates dla The New York Times

Cztery lata temu  Casey Harell zaśpiewał córce swoją ostatnią piosenkę do spania. Od tamtego czasu stwardnienie zanikowe boczne zaczęło bezlitośnie atakować wszystkie mięśnie pana Harrela, pozbawiając go rutyn jedna za drugą: czy to wychodzenia na spacery ze swoją żoną, czy to trzymania swojej córeczki i czytania jej bajek.  

„Jest jak nocny włamywacz” - napisała jego żona Levana Saxon o chorobie męża w swoim wierszu. 

Okazało się, że dla 46-letniego Casey Harrela nie było niczego bardziej niszczącego życie jak utrata mowy, w wyniku której zaśpiewał swoją ostatnią piosenkę Whitney Houston na karaoke, czy to jako aktywista klimatyczny zaprezentował swoją ostatnią prezentację na platformie „Zoom” bez niczyjej pomocy.  

Ostatniego dnia lipca, doktorzy z Uniwersytetu Kalifornijskiego  dokonali operacji mającej na celu wszczepienie implantów do mózgu  Harrela, które miały za zadanie symulować jego mowę. Dzięki temu Casey stał się  obiektem badań, które przyciągnęły wielkie korporacje, między innymi firmę Elona Muska “Neuralink” zajmującą się podłączaniem mózgów ludzi do komputerów aby w ten sposób potencjalnie przywracać ich utracone zdolności.  

Lekarze oznajmili mu, że tym eksperymentem wsparłby rozwój nauki, przy czym zwrócenie mu całkowitej sprawności z poprzedniego życia jest mało prawdopodobne. 

Jednak wyniki operacji znacząco przewyższyły oczekiwania, jak przyznali badacze w środę dla The New England Journal of Medicine, stawiając wyższą poprzeczkę w związku z dekodującymi mowę implantami oraz przedstawiając potencjał jaki drzemie w takich urządzeniach, zwłaszcza dla ludzi z upośledzeniami mowy. 

„To niesamowicie ekscytujące” powiedział doktor Edward Chang, neurochirurg z Uniwersytetu Kalifornijskiego, San Francisco, który mimo iż nie został zaangażowany w przypadek Casey Harrela, sam szczyci się wynalezieniem podobnych urządzeń tj. implantami mowy. Urządzenia które jeszcze niecały rok temu „można było uznać za nierealne” teraz są ulepszane i optymalizowane w zastraszającym tempie – powiedział dr Edward Chang. 

Zespół operatorów wszczepił Harrelowi w zewnętrzną powierzchnię jego mózgu cztery elektrody, które wyglądały jak malutkie łóżeczka z gwoźdźmi. Umieszczono mu dwa razy więcej implantów w ośrodki mowy, niż zazwyczaj komuś w podobnej sytuacji zdrowotnej. Podczas gdy Casey próbował ruszać ustami, szczęką i językiem aby mówić, każda z 64 matryc wychwytywała elektryczne impulsy.  

Trzy tygodnie po operacji naukowcy zgromadzili się w salonie pana Harrella w Oakland w Kalifornii, aby „podłączyć go”, scalając implant z grupą komputerów za pomocą kabli przymocowanych do dwóch metalowych słupków wystających z jego czaszki. 

Po bardzo krótkim treningu komputerów w rozpoznawaniu mowy pana Harrella, implant rozpoczął nagrywanie tego co mężczyzna próbował wymówić z 99.6 proc dokładnością. 

Urządzenie zaczęło spełniać swoje działanie znacznie wcześniej niż zakładano, przez co naukowcy musieli usunąć początkową sesję z ich analizy: w trakcie próby głośnego wypowiedzenia swojego pierwszego zdania – „Co z tego dobrego” – drżąc i uśmiechając się pan Harrell zalał się łzami.  

Dla przeciętnego słuchacza słowa: „co” i „dobrego” wydobyły się z ust pana Harrella w sposób zniekształcony i niezrozumiały. Jednak dla elektrod dostrojonych do poszczególnych neuronów w jego mózgu słowa były zupełnie jasne. Ekran przed nim wyświetlał dokładnie to, co próbował powiedzieć.  

Urządzenie w rzeczywistości zakończyło chorobę pana Harrella, opierając się nie na jego osłabionych mięśniach twarzy, lecz na częściach kory ruchowej, w których najpierw formował instrukcje dotyczące tego, co powiedzieć. 

„Kluczową innowacją było umieszczenie większej liczby elektrod z bardzo precyzyjnym ukierunkowaniem w najaktywniejszych częściach mózgu, jakie udało nam się znaleźć” powiedział Sergey Stavisky, neurobiolog z Uniwersytetu Kalifornijskiego w Davis, który pomagał prowadzić badania. 

Już drugiego dnia maszyna miała dostęp do słownictwa wynoszącego 125 000 słów, wymawiając je z  z 90-procentową dokładnością i po raz pierwszy zaczęła tworzyć zdania autorstwa własnego pana Harrella. Urządzenie wypowiadało je głosem zadziwiająco podobnym do jego własnego: wykorzystując wywiady podcastowe i inne stare nagrania. Naukowcy stworzyli głosowy “deep fake” pana Harrella sprzed okresu rozwoju stwardnienia zanikowego bocznego (A.L.S.). 

„Szukam geparda” - brzmiało jego drugie w życiu wypowiedziane zdanie, ciąg słów na tyle dziwny, że naukowcy, którym później pokazano wideo z tej sesji, byli przekonani, że doszło do błędu dekodowania, powiedział dr Leigh Hochberg, neurolog z Uniwersytetu Browna oraz Departamentu Weteranów, który kieruje siecią badań klinicznych, w której znalazł się przypadek pana Harrella. 

Dla lekarzy obecnych w pomieszczeniu, to zdanie była wczesnym sygnałem, że implant potrafi rozpoznać nawet najbardziej osobliwe wypowiedzi pana Harrella, opisujące sytuacje gdy jego córka Aya właśnie wróciła do domu w kostiumie geparda, a ojciec chciał wziąć udział w jej fantazji. „Ukochana córeczko" mówił dalej, „czekałem na to od dawna".  

Gdy naukowcy kontynuowali dostrajanie urządzenia, aby rozpoznawało dźwięki pana Harrella, jego działanie stawało się coraz lepsze. W ciągu ośmiu miesięcy, według badań, pan Harrell zaczął wypowiadać niemal 6000 unikalnych słów. Urządzenie utrzymywało dokładność na poziomie 97,5%. 

To przewyższało dokładność wielu aplikacji na smartfony, które transkrybują nienaruszoną mowę. Stanowiło to także poprawę w stosunku do wcześniejszych badań, w których implanty osiągały dokładność na poziomie około 75%, co oznaczało, że co czwarte słowo mogło być źle zinterpretowane. 

Podczas gdy urządzenia takie jak Neuralink pomagają ludziom poruszać kursorem po ekranie, implant pana Harrella umożliwił mu eksplorację znacznie większego i bardziej złożonego terenu w kwestii mowy. 

„Przeszło to od demonstracji naukowej do systemu, którego Casey może używać na co dzień do komunikacji z rodziną i przyjaciółmi", powiedział dr David Brandman, neurochirurg, który operował pana Harrella i prowadził badania razem z dr Staviskym. 

Ten sukces był częściowo możliwy dzięki rodzajom sztucznej inteligencji, które napędzają narzędzia językowe takie jak Chat GPT. W każdej chwili implant pana Harrella rejestrował aktywność grupy neuronów, tłumacząc ich wzór aktywności na jednostki dźwięków samogłoskowych lub spółgłoskowych. Komputery następnie łączyły te dźwięki w słowa, a słowa w zdania, wybierając te, które uznawały za najbardziej prawdopodobne odpowiadające temu, co pan Harrell próbował powiedzieć. 

Rozmawiałem z panem Harrellem dwukrotnie w ostatnich dniach. W przerwach, podczas których komputery przekształcały jego dźwięki na zdania, a on dostosowywał słowa na ekranie, zanim poprosił o ich wypowiedzenie na głos, pan Harrell opisał różnice w jego dekodowanej mowie. 

Mówił bardziej formalnie niż wcześniej, biorąc pod uwagę tendencję systemu do tworzenia pełnych zdań. Zespół badawczy musiał również dostosować jego narzędzie A.I., aby lepiej rozpoznawało rzadziej używane zwroty, których używał na co dzień. (Jednym z nich było „menedżer aktywów”: praca organizacyjna pana Harrella koncentrowała się na wskazywaniu na współwinność firm takich jak BlackRock i Vanguard w kryzysie klimatycznym.) 

Okazało się, nowa osobowość ożywiła także sfery u pana Harrella, które przez długi czas były uśpione. On i pani Saxon zaczęli znów żartować. Podobnie jak mówienie w obcym języku może pozwolić ludziom wyrażać części swojej osobowości, które były dotąd nie były używane, pan Harrell powiedział, że jego dekoder mowy przywrócił mu dawne elementy pewności siebie, nawet jeśli nieco się zmieniły w trakcie. 

Czasami, jak powiedział, maszyna naśladowała jego dawnego “ja”. 

„Dysponuję wieloma różnymi słowami, które brzmią dokładnie tak, jak je kiedyś wypowiadałem,” powiedział mi. „Na przykład: "Co słychać”? Pan Harrell uśmiechnął się, gdy dekoder wypowiedział jego starą frazę, jego dawnym głosem „Uwielbiam to”.

Poszerzając granice tego, o czym mógł rozmawiać, implant zmienił również to, co inni mogli mówić do niego, powiedział pan Harrell. 

Teraz mógł powiedzieć Ayie, pięcioletniej córce, że ją kocha. Ona z kolei dzieliła się z nim więcej, wiedząc, że ojciec zrozumie jej odpowiedzi. 

Pracownicy zdrowia, którzy wcześniej myśleli, że jego upośledzona mowa oznacza, że jest upośledzony i ma problemy ze słuchem — co było nieprawdą — teraz mówią do niego normalnym tonem i dotykają go z większą ostrożnością. To, że konieczna była operacja mózgu, aby wprowadzić tę zmianę, złościło go, ale powiedział: „staram się już o tym nie myśleć”. 

Implant pozwolił panu Harellowi marzyć o odbudowie zniszczonego życia towarzyskiego. Teraz mógł nawiązać kontakt ze starymi przyjaciółmi, którzy oddalili się i o których martwił się, myśląc, że są zbyt zawstydzeni, aby się odezwać. Tym razem, powiedział pan Harrell, mógł on „połączyć się z nimi w sposób, który im odpowiada”. 

„To pozwala mi im wybaczyć,” powiedział. „Chcę móc im powiedzieć, że wszystko jest w porządku i że mogą teraz naprawić sytuację". 

Nie jest jasne, czy ten sam implant okaże się równie pomocny dla osób z bardziej zaawansowanym paraliżem. Mowa pana Harrella pogorszyła się, ale nie zniknęła. 

Mimo swojej użyteczności, technologia nie może złagodzić przytłaczającego ciężaru finansowego związanego z życiem i pracą z A.L.S. Ubezpieczenie pokryje potrzeby opiekuńcze pana Harrella tylko wtedy, gdy przejdzie on na opiekę hospicyjną lub przestanie pracować i stanie się uprawniony do „Medicaid”, powiedziała pani Saxon, dodając, że sytuacja ta zmusza innych z A.L.S. do rezygnacji z prób przedłużania życia. 

Wszystko to sprawia, że osoby z niepełnosprawnościami są bardziej narażone na ubóstwo, co jeszcze bardziej utrudnia dostęp do nowoczesnych implantów, powiedziała Melanie Fried-Oken, profesor neurologii na Uniwersytecie Zdrowia i Nauki w Oregonie. 

Dla pana Harrella życie w świecie, w którym można łączyć komputery z mózgami, ale nie można rozwiązać finansowej niepewności osób, które najbardziej tego potrzebują, jest niepokojące. „Bardzo szczęśliwy i bardzo zły", określił się, korzystając z dekodera mowy. 

W wywiadach pan Harrell opisał, że od czasu operacji pracuje bardziej produktywnie i niezależnie. To, jak oznajmił, było powodem do dumy, a także kolejnym powodem, by przyspieszyć wysiłki na rzecz uczynienia implantów bardziej dostępnymi. 

Naukowcy pracują nad tym, aby to było możliwe. Do tego czasu pan Harrell musi zadowolić się uruchomianiem swojego implantu każdego ranka, próbując wypowiedzieć słowa piosenki. Ostatnio wybrał wers z dawnej piosenki zespołu Chicago, którą lubi recytować swojej żonie: „Jeśli teraz mnie zostawisz” - jego głos wydobywał się z głośników - „odbierzesz mi to co najdroższe”.