Nowy system tłumaczy indywidualne gesty na mowę dla osób z ograniczoną komunikacją

Zespół naukowców z Pennsylvania State University opracował prototypowy system, który wykorzystuje czujniki do noszenia i sztuczną inteligencję do konwersji gestów na mowę. System ten przekształca ruchy ciała, które są unikalne dla poszczególnych osób, w mowę, odróżniając go od ogólnych systemów.

To nowe podejście - opublikowane w czasopiśmie Augmentative and Alternative Communication - ma na celu pomóc osobom z upośledzeniem ruchowym lub wzrokowym komunikować się bardziej niezależnie i skutecznie. Kluczową innowacją tego systemu jest możliwość dostosowania go do indywidualnych potrzeb.

W przeciwieństwie do konwencjonalnych systemów zamiany gestów na mowę szkolonych na dużych zbiorach danych, system został zaprojektowany tak, aby uczyć się idiosynkratycznych ruchów - gestów, które mają specyficzne znaczenie unikalne dla danej osoby. Pozwala to technologii dostosować się do konkretnych ruchów, które użytkownik uważa za łatwe do wykonania, zmniejszając w ten sposób fizyczny stres użytkownika.

System działa w ten sposób, że osoba nosi czujnik na nadgarstku i powtarza gest około trzy razy. Korzystając z algorytmu sztucznej inteligencji, mierzy on charakterystykę ruchu gestu, ucząc się jego unikalnego wzorca. Ten wzór lub gest jest następnie przypisywany do wypowiadanej frazy, takiej jak "chodź tutaj" lub "przestań". Połączona aplikacja na smartfona wypowiada tę frazę na głos za każdym razem, gdy użytkownik wykona gest.

Zespół ściśle współpracował z osobami, które miały ograniczoną mowę w trakcie rozwoju. Jednym z godnych uwagi uczestników była Emma Elko, która ma korową wadę wzroku. System z powodzeniem nauczył się jej osobistych gestów, pozwalając jej komunikować się bez pomocy matki - jej głównego partnera komunikacyjnego.

Naukowcy twierdzą, że następnym krokiem jest przetestowanie prototypu z większą liczbą osób, aby udoskonalić jego zdolność do rozróżniania podobnych gestów i ignorowania mimowolnych ruchów. Planują również dodać kamery do istniejącego czujnika, aby uzyskać lepszy poziom dokładności.