Naukowcy z Uniwersytetu w Singapurze prezentują najnowszy prototyp zestawu słuchawkowego AiSee, umożliwiający niewidomym widzenie świata za pomocą opisów głosowych AI

05 lutego 2024 r

Naukowcy z NUS opracowują "oko" napędzane sztuczną inteligencją dla osób niedowidzących, aby "widzieć" obiekty
Assoc Prof. Suranga Nanayakkara (po lewej) ze studentem NUS Markiem Myresem (po prawej), który testował AiSee jako użytkownik niedowidzący.

Zakupy spożywcze to powszechna czynność dla wielu z nas, ale dla osób niedowidzących identyfikacja artykułów spożywczych może być zniechęcająca. Zespół naukowców z National University of Singapore's School of Computing (NUS Computing) przedstawił AiSee, przystępne cenowo urządzenie wspomagające, które pomaga osobom z wadami wzroku "widzieć" obiekty wokół nich za pomocą sztucznej inteligencji (AI).
Osoby z upośledzeniem wzroku napotykają codzienne przeszkody, szczególnie w zakresie identyfikacji obiektów, która ma kluczowe znaczenie zarówno dla prostych, jak i złożonych procesów decyzyjnych. Podczas gdy przełom w dziedzinie sztucznej inteligencji znacznie poprawił możliwości rozpoznawania wizualnego, zastosowanie tych zaawansowanych technologii w świecie rzeczywistym pozostaje trudne i podatne na błędy.

AiSee, które po raz pierwszy zostało opracowane w 2018 roku i stopniowo ulepszane w ciągu pięciu lat, ma na celu przezwyciężenie tych ograniczeń poprzez wykorzystanie najnowocześniejszych technologii AI.

"Dzięki AiSee naszym celem jest umożliwienie użytkownikom bardziej naturalnej interakcji. Podążając za procesem projektowania skoncentrowanym na człowieku, znaleźliśmy powody, aby zakwestionować typowe podejście polegające na używaniu okularów z kamerą. Osoby z wadami wzroku mogą niechętnie nosić okulary, aby uniknąć stygmatyzacji. Dlatego proponujemy alternatywny sprzęt, który zawiera dyskretne słuchawki na przewodnictwo kostne" - powiedział główny badacz projektu AiSee, profesor nadzwyczajny Suranga Nanayakkara, który pochodzi z Wydziału Systemów Informatycznych i Analityki w NUS Computing.

Użytkownik musi po prostu przytrzymać obiekt i aktywować wbudowaną kamerę, aby uchwycić jego obraz. Z pomocą sztucznej inteligencji AiSee zidentyfikuje obiekt, a także dostarczy więcej informacji, gdy użytkownik zapyta o nie.

Jak działa AiSee?

AiSee składa się z trzech kluczowych komponentów:

(1) Oko: Oprogramowanie komputerowe silnika wizyjnego
AiSee zawiera mikrokamerę, która rejestruje pole widzenia użytkownika. Tworzy to komponent oprogramowania AiSee, określany również jako "silnik wizyjny komputera". Oprogramowanie jest w stanie wyodrębnić funkcje, takie jak tekst, logo i etykiety z przechwyconego obrazu w celu przetworzenia.

(2) Mózg: Jednostka przetwarzania obrazu oparta na sztucznej inteligencji i interaktywny system pytań i odpowiedzi
Po zrobieniu przez użytkownika zdjęcia obiektu zainteresowania, AiSee wykorzystuje zaawansowane algorytmy sztucznej inteligencji oparte na chmurze do przetwarzania i analizowania przechwyconych obrazów w celu identyfikacji obiektu. Użytkownik może również zadać szereg pytań, aby dowiedzieć się więcej o obiekcie.

AiSee wykorzystuje zaawansowaną technologię rozpoznawania i przetwarzania tekstu na mowę i mowy w celu identyfikacji obiektów i zrozumienia zapytań użytkownika. Dzięki dużemu modelowi językowemu AiSee wyróżnia się w interaktywnej wymianie pytań i odpowiedzi, umożliwiając systemowi dokładne zrozumienie i udzielenie odpowiedzi na pytania użytkownika w szybki i pouczający sposób.

W porównaniu do większości ubieralnych urządzeń wspomagających, które wymagają sparowania ze smartfonem, AiSee działa jako samodzielny system, który może funkcjonować niezależnie bez potrzeby korzystania z dodatkowych urządzeń.

(3) Głośnik: System dźwięku na przewodnictwo kostne
Słuchawka AiSee wykorzystuje technologię przewodnictwa kostnego, która umożliwia transmisję dźwięku przez kości czaszki. Dzięki temu osoby niedowidzące mogą skutecznie odbierać informacje słuchowe, mając jednocześnie dostęp do dźwięków zewnętrznych, takich jak rozmowy lub hałas uliczny. Jest to szczególnie istotne dla osób niedowidzących, ponieważ dźwięki otoczenia dostarczają niezbędnych informacji do podejmowania decyzji, zwłaszcza w sytuacjach związanych z bezpieczeństwem.

"Obecnie osoby niedowidzące w Singapurze nie mają dostępu do wspomagającej technologii AI na tym poziomie zaawansowania. Dlatego wierzymy, że AiSee ma potencjał, aby umożliwić osobom niedowidzącym samodzielne wykonywanie zadań, które obecnie wymagają pomocy. Naszym kolejnym krokiem jest uczynienie AiSee przystępnym cenowo i dostępnym dla mas. Aby to osiągnąć, wprowadzamy dalsze ulepszenia, w tym bardziej ergonomiczną konstrukcję i szybszą jednostkę przetwarzania" - wyjaśnił Assoc Prof. Nanayakkara.
Student NUS Mark Myres, który pomógł przetestować AiSee jako niedowidzący użytkownik, skomentował: "Często urządzenia wspomagające wydają się być bardzo ukierunkowane na osoby całkowicie niewidome lub niedowidzące. Myślę, że AiSee to dobra równowaga. Zarówno osoby niedowidzące, jak i niewidome mogą odnieść z tego wiele korzyści"

Testy z użytkownikami i dalsze ulepszenia

Assoc Prof. Nanayakkara i jego zespół prowadzą obecnie rozmowy z SG Enable w Singapurze w celu przeprowadzenia testów z udziałem osób niedowidzących. Wyniki pomogą udoskonalić i poprawić funkcje i wydajność AiSee. Ponadto firma B.P. De Silva Holdings Pte Ltd przekazała hojną darowiznę w wysokości 150 000 USD na wsparcie projektu.

Decyzja BPH o przyczynieniu się do rozwoju AiSee jest zakorzeniona w jej zaangażowaniu w społeczną odpowiedzialność biznesu i prawdziwym pragnieniu wywarcia pozytywnego wpływu na społeczeństwo z szerszą misją wspierania integracji i dostępności. Filantropijne przedsięwzięcie odzwierciedla również wiarę w transformacyjną moc technologii w celu sprostania wyzwaniom społecznym i stworzenia bardziej sprawiedliwego i integracyjnego świata.

Pani Ku Geok Boon, dyrektor generalny SG Enable, powiedziała: "Innowacyjne rozwiązania oferowane przez technologie wspomagające mogą zmienić życie osób niepełnosprawnych, czy to wspierając ich w bardziej niezależnym życiu, czy też zmniejszając bariery w zatrudnieniu. Jako agencja centralna i sektor umożliwiający niepełnosprawność i integrację w Singapurze, SG Enable z przyjemnością współpracuje z partnerami takimi jak NUS i B.P. De Silva Holdings Pte Ltd, aby wykorzystać technologię do wzmocnienia pozycji osób niepełnosprawnych"

Poza tym projektem, SG Enable stara się również współpracować z NUS w celu zbadania, w jaki sposób sztuczna inteligencja, interfejs człowiek-komputer i technologia wspomagająca mogą zapewnić osobom niepełnosprawnym więcej opcji technologicznych.