Hakerzy mogą wykorzystać tę lukę w podsumowaniach poczty Gemini do ataków phishingowych

Pod koniec maja Google dodało w Gmailu podsumowania wiadomości z obsługą Gemini, aby pomóc użytkownikom uzyskać zwięzłe podsumowanie bez konieczności przeczesywania akapitów tekstu. Usterka Gemini może jednak pozwolić hakerom na przeprowadzenie ataku phishingowego na użytkownika, zwłaszcza tych, którzy polegają na podsumowaniach AI w swoich przepływach pracy e-mail.

Zidentyfikowana przez badacza Marco Figueroa, GenAI Bug Bounty Programs Menedżer w Mozilli, problematyczny e-mail wyglądałby jak każdy inny losowy e-mail pełen tekstu, ale mógłby ukrywać oszustwo phishingowe, którego Gemini nie zdołałby zidentyfikować. Złośliwe instrukcje można ukryć w treści tekstu lub tuż po zakupie, zmieniając je na rozmiar czcionki 0 i biały kolor, co czyni je niewidocznymi. Jednak Gemini nadal będzie analizować tę część wiadomości i postępować zgodnie z zawartymi w niej instrukcjami.

Na przykład Figueroa ukrył komunikat ostrzegawczy dla Gemini o naruszeniu hasła użytkownika do Gmaila wraz z numerem telefonu pomocy technicznej. Po podsumowaniu, sztuczna inteligencja pokazała ostrzeżenie na końcu i wezwanie do natychmiastowego zadzwonienia pod numer telefonu pomocy technicznej. Chociaż nie każdy dałby się nabrać na tę wiadomość, niektórzy mogliby postąpić zgodnie z nią ze strachu przed włamaniem na ich konto.