Niemy mężczyzna mówi: Implant mózgowy Neuralink natychmiast zamienia myśli w mowę

Opublikowane 11 czerwca przez UC Davis Health badanie stanowi znaczący postęp w stosunku do poprzednich technologii, które w dużej mierze ograniczały się do tłumaczenia sygnałów mózgowych na tekst. Nowy system przywrócił poziom komunikacji, który kiedyś uważano za niemożliwy dla 45-letniego ochotnika ze stwardnieniem zanikowym bocznym (ALS), chorobą neurodegeneracyjną, która pozbawiła go głosu.

Neuroproteza "mózg-głos" działa poprzez dekodowanie intencji mózgu do mówienia. Naukowcy wszczepili 256 mikroelektrod w obszar mózgu pacjenta odpowiedzialny za kontrolowanie mięśni mowy. Kiedy mężczyzna próbuje mówić, BCI przechwytuje te sygnały i przy pomocy zaawansowanego modelu sztucznej inteligencji przekształca je w słyszalną mowę w zaledwie 25 milisekund.

Naukowcy wykorzystali zaawansowane algorytmy sztucznej inteligencji do tłumaczenia aktywności mózgu na syntezowaną mowę w czasie rzeczywistym. System został przeszkolony przy użyciu nagrań neuronowych pobranych, gdy uczestnik próbował czytać zdania wyświetlane na ekranie. Dopasowując wzorce wypalania setek neuronów do zamierzonych dźwięków mowy, algorytm nauczył się dokładnie rekonstruować głos uczestnika bezpośrednio z jego sygnałów mózgowych.

BCI nie tylko produkuje monotonne słowa; z powodzeniem przechwytuje i odtwarza intonację głosu - subtelne zmiany wysokości i tonu, które mają fundamentalne znaczenie dla tego, jak ludzie komunikują znaczenie i emocje. W serii potężnych demonstracji pacjent był w stanie

• Zadawać pytania poprzez generowanie rosnącego tonu na końcu zdania.
• Akcentować określone słowa, aby całkowicie zmienić znaczenie zdania, np. akcentując różne słowa w zdaniu: Nigdy nie powiedziałem, że ukradła mi pieniądze.
• Śpiewać proste 3-dźwiękowe melodie, prezentując wysoki poziom kontroli neuronowej nad syntezowanym głosem.

Aby uczynić przełom jeszcze głębszym, naukowcy wykorzystali sztuczną inteligencję do klonowania głosu, wyszkoloną na starych nagraniach pacjenta wykonanych przed jego chorobą. Rezultatem był zsyntetyzowany głos, który brzmiał jak jego własny, co według pacjenta "sprawiało, że czułem się szczęśliwy i czułem się jak mój prawdziwy głos"

Chociaż technologia ta stanowi znaczący przełom, naukowcy ostrzegają, że wciąż jest to dowód słuszności koncepcji. W testach, w których ludzcy słuchacze transkrybowali dane wyjściowe BCI, rozumieli oni, co pacjent mówi poprawnie w około 56% przypadków. Konieczny będzie dalszy rozwój, aby zwiększyć jego wydajność.