Google AI Edge Foresight: AI offline do notatek ze spotkań na Macu

AI działająca lokalnie i przechowująca wszystkie dane na urządzeniu ma być obietnicą Apple. Teraz Google udostępniło aplikację na Maca opartą na tym samym założeniu. Google AI Edge Foresight to eksperymentalny asystent spotkań, który działa w całości na urządzeniu. Przechwytuje dźwięk z mikrofonu i dźwięk systemowy, dzięki czemu może współpracować z dowolną platformą do spotkań, a w razie potrzeby nawet bez połączenia z internetem.

Jak to działa w praktyce? Podczas spotkania użytkownicy zapisują krótkie uwagi w punktach, a Foresight rozwija je w szczegółowe notatki na podstawie tworzonej na bieżąco transkrypcji. Aplikacja wykrywa również pytania zadawane podczas spotkania i udziela trafnych odpowiedzi, przeszukując za pomocą języka naturalnego osobistą bazę wiedzy obejmującą dokumenty, obrazy, transkrypcje i notatki. Według Google całe przetwarzanie transkrypcji i dźwięku odbywa się na urządzeniu i nie wymaga subskrypcji usługi w chmurze.

Oparte na EmbeddingGemma 2

Foresight łączy nowy model EmbeddingGemma 2 od Google DeepMind z modelem językowym Gemma 4. Modele osadzające nie generują tekstu. Zamiast tego przekształcają treści w wektory liczbowe, aby umożliwić wyszukiwanie podobnych materiałów. Druga generacja umieszcza tekst, kod, obrazy, klatki wideo i dźwięk w tej samej przestrzeni wektorowej. Dzięki temu hasło wyszukiwania pozwala odnaleźć konkretny moment w nagraniu bez wcześniejszego generowania opisów obrazów lub transkrypcji. Model ma 740 milionów parametrów, wykorzystuje architekturę Gemma 4 i jest dostępny na licencji Apache 2.0, co pozwala programistom swobodnie integrować go z własnymi aplikacjami.

Google podaje też wynik wydajności, który może zainteresować użytkowników Maców: przetworzenie obrazu na GPU układu M5 Pro zajmuje 37,3 ms, co odpowiada nieco mniej niż 27 obrazom na sekundę. Przetwarzanie obrazów jest uznawane za najbardziej wymagającą obliczeniowo część zadań, a Google twierdzi, że poświęciło szczególną uwagę optymalizacji tego procesu.

Demonstracja możliwości z potencjałem

Foresight służy przede wszystkim do prezentacji możliwości programistom, a samo Google opisuje je jako aplikację eksperymentalną. Mimo to stanowi interesującą alternatywę dla osób, które prowadzą poufne spotkania i wolałyby nie powierzać ich transkrypcji usłudze w chmurze. Google nie poinformowało, czy transkrypcja działa równie dobrze podczas spotkań prowadzonych w językach innych niż angielski, choć demonstruje wyszukiwanie obrazów w towarzyszącej aplikacji AI Edge Gallery z użyciem niemieckich haseł wyszukiwania.