A Google fokozatosan vezeti be a Gemini Live alkalmazásban a Guided vision (irányított látás) nevű funkciót, amely a telefon kameráján keresztül, valós beszélgetés formájában segít a vak és gyengénlátó felhasználóknak megérteni, mi vesz körül a helyiségben, illetve mit tartanak éppen a kezükben.
A Gemini Live eddig is lehetővé tette, hogy a felhasználók bekapcsolják a kamerát egy beszélgetés közben, de az új mód kifejezetten arra épül, hogy a mesterséges intelligencia folyamatosan kommentálja a látottakat, és aktívan irányítja a felhasználót, hogy jobban rálásson a dolgokra. A funkciót az Accessible Android szerzője, Kareen Kiwan próbálta ki, és a tapasztalatai vegyesek, de biztatóak.
Hogyan kapcsoljuk be
A Guided vision bekapcsolásához meg kell nyitni a Gemini alkalmazást, ki kell választani a bejelentkezett fiókot, majd a Beállítások menü Live szekciójában rá kell keresni a Guided vision kifejezésre, és be kell kapcsolni a hozzá tartozó kapcsolót. A funkció részleteiről a Google is közzétett egy hivatalos akadálymentesítési támogatási cikket, amely a beállítás menetét írja le.
Érdemes tudni, hogy a funkció még nem mindenkinél érhető el – fokozatos bevezetésről van szó, tehát ha valaki nem találja a kapcsolót a beállítások között, egyelőre nincs mit tenni, csak várni kell a szélesebb körű elérhetőségre. Kiwan azt is megjegyezte, hogy ő maga semmilyen extra lépést nem tett a hozzáféréshez, ugyanakkor épp egy háromhónapos AI Pro próbaidőszakot használt a tesztelés idején, így nem zárható ki, hogy ez befolyásolta a funkció elérhetőségét az ő esetében.
Mire képes a gyakorlatban
A teszt során a Gemini láthatóan tisztában volt vele, hogy az irányított látás mód aktív, és ennek megfelelően igyekezett részletesebben fogalmazni a leírásaiban. A rendszer a felhasználó kezét is referenciapontként tudja használni: amikor Kiwan a kezét mutatta a kamerának, a Gemini ehhez képest adott útmutatást, hogy merre induljon el egy adott tárgy megtalálásához.
A térbeli tájékozódásban is segített: a mesterséges intelligencia nemcsak egyes tárgyakat nevezett meg, hanem azok egymáshoz viszonyított helyzetét is leírta, például hogy egy ventilátor hol áll a kanapéhoz képest a szobában. Hasonlóan hasznosnak bizonyult a könyvek felismerésénél is: a Gemini megmondta, melyik könyvet tartja éppen a kezében a felhasználó, és aktívan segített úgy pozicionálni azt, hogy a teljes oldal látótérbe kerüljön. Ez a fajta finomhangolt útmutatás – hogy merre mozdítsa a kamerát – végig jellemző volt a beszélgetésre.
Ezek a képességek jól illeszkednek azokhoz a fejlesztésekhez, amelyeket a Google korábban is a látássérült felhasználók számára készített: az Accessible Android korábbi cikkében már bemutatta a Google Lookout alkalmazást, amely hasonló, kamera alapú segítséget nyújt. A Guided vision ehhez képest azzal jelent előrelépést, hogy nem egy különálló alkalmazásban, hanem magában a Gemini Live beszélgetésben, természetes nyelvi interakció formájában érhető el.
Amit még csiszolni kell
A funkció ugyanakkor korántsem hibátlan, és Kiwan tesztje több olyan korlátra is rávilágított, amit érdemes ismerni használat előtt. Az egyik ilyen, hogy a Gemini nem követi automatikusan a képernyőn vagy a környezetben történő változásokat: amikor a szerző megkérte, hogy olvasson fel egy oldalt, a rendszer csak annak egy részét olvasta fel, és csak a külön rákérdezésre – hogy volt-e még szöveg az oldalon – válaszolta helyesen, hogy igen, van további szöveg és ábra is. Ez azt jelenti, hogy a felhasználónak aktívan, konkrét kérdésekkel kell vezetnie a beszélgetést, mert a Gemini magától nem figyel mindenre.
Előfordultak azonosítási hibák is: egy ajtóra akasztott törölközőt a rendszer több alkalommal is rózsaszínnek nevezett, holott nem volt az. A színfelismerés tehát nem tökéletes, és időnként félrevezető információt adhat.
Egy másik, gyakorlati szempontból kellemetlen korlátozás a fényképezéssel kapcsolatos. Amikor a Gemini arra kérte a szerzőt, hogy középre igazítsa az arcát, majd Kiwan utasította a rendszert, hogy készítsen fotót, a Gemini teljesítette a kérést – de ez egyúttal a Live munkamenet lezárásával is járt. Vagyis a fényképkészítés jelenleg megszakítja a folyamatos beszélgetést, ami nem feltétlenül praktikus, ha valaki éppen egy hosszabb, több lépésből álló tájékozódás közepén tart.
Fontos technikai részlet, hogy a Guided vision nem vált át egy fejlettebb mesterséges intelligencia modellre – ugyanazt a modellt használja, mint amit a Gemini alkalmazás egyébként is. Extra számítási kapacitásról vagy külön, erre a módra optimalizált motorról tehát nincs szó, a funkció inkább a meglévő képességek célzott, akadálymentesítési célú alkalmazásán alapul.
Összegzés
Bár a funkció még korai fázisban van, és akadnak benne kisebb pontatlanságok – téves színazonosítás, a folyamatos figyelés hiánya, a fotózás okozta megszakadás –, Kiwan tapasztalata alapján a Guided vision már most is használható, hasznos eszköz. Ahogy fogalmazott: bár kezdeti stádiumban jár, szívesen tartja bekapcsolva, és eszébe sem jut visszaváltani a hagyományos kameramódra. Ha a Google folytatja a rendszer finomítását, a funkció idővel komoly segítséget jelenthet a látássérült felhasználók mindennapi tájékozódásában.
A cikk a Google Is Rolling Out Guided Vision to Gemini Live: Here’s How to Use It and My Early Impressions alapján, AI felhasználásával készült magyar adaptáció, ezért apróbb pontatlanságokat tartalmazhat.