Google Pixel 11 przekształca amerykański język migowy na tekst pisany

W środę firma Google DeepMind zaprezentowała model tłumaczenia języka migowego, który nie pozostanie wyłącznie w laboratorium. SL2T, skrót od „sign-language-to-text” (język migowy na tekst), działa obecnie w klawiaturze Gboard oraz w aplikacji Live Transcribe na telefonie Pixel 11. Wystarczy migować, a otrzymają Państwo tekst. Działa to wszędzie tam, gdzie zwykle wpisuje się tekst: podczas wyszukiwania w Internecie, w wiadomościach, dokumentach oraz w poleceniach Gemini. Google nie pobiera za to dodatkowych opłat.

Dla użytkowników niesłyszących jest to coś więcej niż tylko udogodnienie. Około 70 milionów osób na całym świecie posługuje się jednym z ponad 200 języków migowych jako językiem podstawowym, a funkcja dyktowania – coś, co użytkownicy słyszący od lat uważają za oczywiste – nigdy nie była dla nich dostępna. Dzięki aplikacji Live Transcribe mogą teraz odpowiadać na pytania, zamiast wpisywać całe zdania podczas rozmowy.

Aparat nigdy nie przesyła obrazu wideo do Google

Najciekawszym aspektem jest sposób zapewnienia prywatności. Model nigdy nie ma wglądu w obraz z kamery. MediaPipe Holistic działa na telefonie i redukuje materiał wideo do punktów orientacyjnych ciała – prostych współrzędnych rąk, ramion, głowy i twarzy. Tylko te dane liczbowe są przesyłane na serwer, a firma Google zapewnia, że materiał wideo jest natychmiast usuwany.

Równie istotne jest to, czego Google pominęło. Wcześniejsze systemy tłumaczyły za pomocą glos, czyli uproszczonego zapisu poszczególnych znaków, który pomijał znaczną część tego, co faktycznie przekazują języki migowe, w tym mimikę twarzy i wykorzystanie przestrzeni. SL2T przechodzi bezpośrednio od punktów orientacyjnych do tekstu. Do szkolenia wykorzystano ponad 100 000 godzin materiału filmowego obejmującego ponad 50 języków migowych, z czego około jedna czwarta dotyczyła amerykańskiego języka migowego (ASL). W teście porównawczym FLEURS-ASL system uzyskał wynik 70 punktów w skali BLEURT – mierniku jakości tłumaczenia – bez uprzedniego zapoznania się z danymi testowymi.

Tylko jeden język, a Google sam sygnalizuje własne błędy

Problem stanowi lista obsługiwanych języków. W momencie premiery SL2T obsługuje wyłącznie tłumaczenie z ASL na język angielski, więc użytkownicy języka brytyjskiego, niemieckiego lub jakiegokolwiek innego języka migowego wciąż muszą czekać. Google obiecuje dodanie kolejnych języków i obsługę większej liczby urządzeń, nie podając jednak konkretnej daty.

Dokładność również nie jest bezbłędna, co firma sama potwierdza na własnych przykładach. Szybkie literowanie palcami powoduje, że słowo „prey” zamienia się w „grey”, brakuje klasyfikatora opisowego, a czas się zmienia w przypadku braku kontekstu. Zespół zajął się jednak praktycznymi problemami: opóźnieniami podczas tłumaczenia na żywo, generowaniem wyników, gdy nikt nie posługuje się językiem migowym, osobami migającymi lewą ręką oraz miganiem jedną ręką, co staje się konieczne w momencie, gdy druga ręka trzyma telefon.

W procesie tym przez cały czas uczestniczyli niesłyszący specjaliści. Grupa doradcza o nazwie AISLAC towarzyszyła premierze i była współautorem raportu dotyczącego tego, co model potrafi, a czego nie potrafi.

Na razie wyłącznie w modelu Pixel 11

Aby wypróbować tę funkcję, należy nabyć model Pixel 11. Firma Google uruchomiła przedsprzedaż 12 sierpnia, a według stanu na 13 sierpnia w sklepie Google Store telefon ten nadal figuruje w ofercie przedsprzedażowej w cenie 899 dolarów. Starsze modele, takie jak Pixel 10 Pro, nie mają na razie dostępu do tej funkcji.