Microsoft udostępnia aplikację mobilną Seeing AI, aby pomóc użytkownikom niedowidzącym w opisywaniu świata za pomocą Azure AI

Podczas odbywającego się 7 marca Ability Summit, wydarzenia poświęconego cyfrowym rozwiązaniom dla osób niepełnosprawnych, Microsoft uruchomił aplikację Seeing AI. Ta innowacyjna aplikacja wykorzystuje technologie Azure AI, aby pomóc osobom niedowidzącym w łatwiejszym poruszaniu się po życiu.

Technologie AI często wymagają potężnych komputerów do analizy i reagowania na podpowiedzi użytkownika, a niewiele urządzeń mobilnych ma chipy AI, takie jak Snapdragon 8 Gen 3 w topowych smartfonach z 2024 roku. Dlatego większość monitów jest przekazywana do usług online, takich jak OpenAI (ChatGPT) lub Microsoft (Azure AI, CoPilot), gdzie potężniejsze komputery w chmurze obsługują żądania.

Microsoft Seeing AI wykorzystuje Azure GPT-4 Turbo z Vision AI, aby umożliwić responsywne, dokładne odpowiedzi na każdym smartfonie z tymi funkcjami:

1. Text-to-speech - aplikacja odczytuje tekst, który widzi. Krótszy tekst może być odczytywany w trybie kamery na żywo, podczas gdy dłuższy tekst jest fotografowany, konwertowany na tekst i ostatecznie odczytywany na głos.
2. Czytnik kodów kreskowych - aplikacja wyszukuje produkty na podstawie kodu UPC.
3. Scena - aplikacja opisuje widzianą scenę, skupiając się na najbliższym obiekcie.
4. Osoba - aplikacja opisuje widzianą osobę, identyfikując emocje twarzy.
5. Waluta - aplikacja identyfikuje banknoty w 17 krajach.
6. Kolor - aplikacja identyfikuje kolor na środku zdjęcia na żywo.
7. Pismo odręczne - aplikacja konwertuje odręczne notatki na tekst.
8. Jasność - aplikacja emituje dźwięk o różnej wysokości w zależności od jasności.

Wyniki aplikacji są ogólnie dokładne, ale żadna sztuczna inteligencja nie jest tak dobra jak człowiek w identyfikowaniu i opisywaniu tego, co widać. Na przykład, Seeing AI poprawnie identyfikuje maszynkę do golenia w puszce, ale po prostu nie może zidentyfikować sortownika monet pomimo oznaczeń centów na korpusie. To samo dotyczy tekstu - aplikacja generalnie dokładnie konwertuje tekst na paragonach i opakowaniach, ale zawodzi w przypadku tekstów matematycznych i chemicznych.

Microsoft Seeing AI można pobrać już dziś ze sklepu z aplikacjami Android i Apple app store. Czytelnicy, którzy mają problemy z widzeniem małych rzeczy, mogą chcieć wypróbować podświetlaną lupę(taką jak ta w Amazon).