Egy izraeli testvérpár olyan Windows-kiegészítőt épített, amely a jobb Alt billentyű lenyomásával és egyszerű, természetes nyelvű utasításokkal veszi át a képernyőolvasók mellett a számítógép kezelését. A Darvy nevű eszköz nem a JAWS vagy az NVDA helyett működik, hanem azok mellett fut.
A Double Tap podcast egyik legutóbbi adásában Ameen Darwish és testvére, Majd meséltek arról, hogyan született meg ez a szoftver. A történet személyes indíttatású: Ameen végignézte, ahogy testvére a retinitis pigmentosa (RP) nevű genetikai szembetegség miatt fokozatosan elveszíti a látását, és a képernyőolvasó-technológia elsajátítása hónapokig tartó, kimerítő folyamat volt számára. Ameen szerint feltűnő volt, hogy a képernyőolvasók lényegében húsz éve nem változtak érdemben, miközben az AI-technológia mára sokkal többre képes.
Egy testvér frusztrációjából született ötlet
Ameen úgy emlékszik, az volt az első gondolata, hogy ha a mesterséges intelligencia ennyit fejlődött, biztosan létezik már valami, ami jobban működik a hagyományos képernyőolvasóknál. Utánanézett a piacon elérhető megoldásoknak, de nem talált ilyet, így testvérével közösen belevágtak egy saját fejlesztésbe.
Majd retinitis pigmentosában érintett, hat éves korában kezdődött jelentős látásvesztéssel, ami tizenhat éves korára tovább súlyosbodott. Jeruzsálemben él, és a mindennapokban három nyelvet használ: héberül, arabul és angolul beszél. Amikor képernyőolvasót kellett választania, a JAWS mellett döntött az NVDA helyett, mert az jobban támogatta a több nyelv közötti használatot – bár ez sem volt zökkenőmentes, mert a szoftver nyelvváltás közben gyakran összezavarodott. A JAWS elsajátítása két-három hónapot vett igénybe, miközben rengeteg billentyűparancsot kellett memorizálnia, és ezek ismerete sem garantálta, hogy minden weboldalon vagy alkalmazásban működik a szoftver.
Jeruzsálemben a Migdal Or nevű rehabilitációs központ foglalkozik a vak és gyengénlátó felhasználók képernyőolvasó-oktatásával; Majd elmondása szerint az egyetemre készülő vak diákoknak jellemzően hat-kilenc hónapra van szükségük, mire elsajátítják a szükséges tudást, és nem mindenki bírja végigcsinálni ezt a folyamatot. Azt is elmondta, hogy a JAWS licencéért fizetett éves díj mellett is a mindennapi feladatok jelentős részéhez a testvérét kellett hívnia segítségért – ez volt az egyik fő motivációja annak, hogy nagyobb önállóságot biztosító eszközt keressenek.
Hogyan működik a Darvy
A használat elve egyszerű: a felhasználó lenyomva tartja a jobb Alt billentyűt, és egyszerű, hétköznapi mondatban elmondja, mit szeretne – például hogy válaszoljon egy e-mailre, és írja meg, hogy háromkor ott lesz. A szoftver ezután elvégzi a feladatot: megnyitja a szükséges alkalmazást, megkeresi az információt, megfogalmazza a választ, majd folyamatosan felolvassa, mi történik.
A fejlesztők eddig mintegy harminc funkciót építettek be – e-mailkezelés, webes keresés, dokumentum- és fájlkészítés, normál számítógép-használat –, és ezeket egyenként stabilizálták. Ehhez a testvérek folyamatosan egyeztetnek arról, milyen műveleteket használna a legtöbb felhasználó a mindennapokban, és ez alapján bővítik a funkciólistát. A Darvy nem helyettesíti a JAWS-t vagy az NVDA-t, hanem párhuzamosan fut velük, bár hosszabb távon az a céljuk, hogy a felhasználóknak ne is legyen szükségük külön képernyőolvasóra. Ameen szerint erre már ma is van esély: pusztán azzal, hogy a rendszer felolvassa és összefoglalja a képernyőn látható tartalmat, sok mindenben kiválthatja a hagyományos képernyőolvasót.
Majd a mindennapi használatra hozott egy egyszerű példát is: reggelente megkéri a Darvyt, hogy indítson el egy adott dalt a YouTube-on, és a reklámokat is átugorja neki. Ameen hozzátette, hogy a szoftver nem csak a komoly, munkával kapcsolatos feladatokra való: ugyanígy megkérdezhető tőle egy film vagy egy sorozat is, például hogy van-e hozzá elérhető hangleírás. Ha valaki egy szokatlanabb, összetettebb kérést fogalmaz meg, a Darvy megpróbálja teljesíteni, de a fejlesztők nem ígérik, hogy minden esetben sikerrel jár – ez szerintük a mesterséges intelligencia természetéből fakad, amely időnként tévesen értelmezi a kérést.
Képernyőkép helyett a kisegítő lehetőségek fája
A Darvy technikai megoldása abban tér el sok AI-alapú képernyőolvasó-kiegészítőtől, hogy nem képernyőképeket elemez pixelről pixelre, hanem a Windows úgynevezett accessibility tree-jét (kisegítő lehetőségek fája) olvassa – ugyanazt az adatforrást, amelyre a JAWS és az NVDA is épül. Ameen szerint ez a megközelítés gyorsabb és olcsóbb: egy nagy felbontású képernyőkép elemzése sokkal több tokent (az AI-nyelvi modellek által feldolgozott szöveges egységet, amiért a felhasználás arányában kell fizetni) és időt igényel, ráadásul nagyobb eséllyel vezet úgynevezett hallucinációhoz, vagyis ahhoz, hogy a rendszer téves információt állít.
Ettől függetlenül a Darvy néhány esetben, ellenőrzés céljából mégis készít képernyőképet. A szoftver emellett képes közvetlenül is vezérelni a számítógépet – kattintani, mozgatni az egeret, billentyűket lenyomni –, ezt a funkciót azonban tudatosan korlátozzák, mert a közvetlen számítógép-vezérlés kiszámíthatatlan és drága művelet: nem mindig lehet előre tudni, hova vezet egy-egy ilyen lépéssorozat.
Miért nem egy meglévő AI-ügynökre épült
A Double Tap egy korábbi adásában már szó volt az OpenClaw nevű, nyílt forráskódú AI-ügynökrendszerről, amelyet a fejlesztők jelentős előrelépésnek tartottak az AI-alapú számítógép-vezérlés terén. Ameen és Majd megpróbálták erre az OpenClaw-ra építeni saját ötletüket, hangvezérelt felületet készítve hozzá. A kísérlet azonban nem vált be: a telepítés komoly nehézségeket okozott, a rendszer nem volt elég stabil, és folyamatosan emlékeztetni kellett rá, hogy vak felhasználóknak szóló akadálymentesítési eszközként kell viselkednie, nem általános asszisztensként.
Két hét munka után feladták ezt az irányt, és inkább saját fejlesztésbe kezdtek. Ameen szerint az általános célú AI-ügynökök jellemzően abból a feltételezésből indulnak ki, hogy a felhasználó látja a képernyőt: megjelenítenek valamit, és feltételezik, hogy ez elég információ. Egy vak felhasználónak viszont ennél jóval több kontextusra van szüksége ahhoz, hogy értelmezni tudja, mi történik – ezt a különbséget a Darvy fejlesztése közben folyamatosan szem előtt kellett tartaniuk. Azóta is rendszeresen, havonta keresnek a piacon kifejezetten vak és gyengénlátó felhasználóknak szánt AI-eszközt, de eddig nem találtak ilyet.
Testvérek a kódban, és a bizalom kérdése
Az ötlet maga is jellemző a testvérek közti dinamikára: Majd önállóan kezdett kereséseket végezni ChatGPT-vel és Google-lel, majd egy éjszaka, hajnali egy órakor hívta fel a bátyját azzal, hogy van egy ötlete, amiről muszáj beszélniük. A fejlesztés munkamegosztása ezt a szereposztást tükrözte: napközben Claude (korábban ChatGPT) segítségével Majd kódolt – Ameen megtanította neki az alapokat, hogyan induljon neki a fejlesztésnek a semmiből –, esténként pedig Ameen nézte át a munkát, és javította ki a hibákat, amelyek közül szerinte jó néhány korántsem volt apróság. Ez a felállás mindkettejüknek megfelelt: egyedül nem tudta volna végigvinni a fejlesztést, a bátyjának pedig napközben nem lett volna rá ideje – az esti átnézés végül működő kompromisszumnak bizonyult, és idővel öccse is egyre jobban megértette, hogyan működik az egész rendszer a háttérben.
A műsorvezetők rákérdeztek arra is, mi történik a felhasználói adatokkal, hiszen a Darvynak be kell jelentkeznie e-mail-fiókokba, naptárakba, dokumentumokba, és a felhasználó nevében kell eljárnia. Ameen szerint a hitelesítő adatok – jelszavak, hozzáférési tokenek – kizárólag a felhasználó saját gépén tárolódnak titkosítva, egy úgynevezett key boxban (titkosított kulcstárolóban), és nem kerülnek fel külső szerverre; még ha valahogy ki is szivárogna ez az adat, titkosítva maradna. A tartalom kezelése ugyanakkor hasonlóan működik, mint bármely más AI-eszköznél: ahogy egy chatbotnak elküldött szöveg is felhasználható lehet a szolgáltató által a modell továbbfejlesztésére, ez elméletileg a Darvy esetében is elképzelhető, hiszen a cég állítása szerint ugyanazt a fajta adatkezelési gyakorlatot követi, mint amit a felhasználók a többi AI-eszköznél megszoktak.
Ár, előfizetés és a következő lépések
A Darvy havi 55 dollártól induló előfizetéssel érhető el, ami jelentős kiadás a JAWS vagy más képernyőolvasó előfizetése mellett. Ameen szerint az árat elsősorban az indokolja, hogy az AI-modellek használata – a nyelvi modell, a beszédszintézis és az ellenőrzéshez használt képernyőkép-elemzés – önmagában is drága. A cégnek nem célja, hogy minden egyes felhasználón nagy haszonkulcsot érjen el, inkább az átlagos használati mintára kalkulálnak. Hosszabb távon abban bíznak, hogy a költséget nem a felhasználóknak, hanem munkáltatóknak vagy egyetemeknek kell majd állniuk, ahogy sok más akadálymentesítési eszköz beszerzését is jellemzően intézmények finanszírozzák. Az érdeklődők három napos ingyenes próbaidőszakot vehetnek igénybe, amely alatt nem terhelik meg a fizetési adataikat, ha időben lemondják az előfizetést.
Nyelvi szempontból a Darvy angolul indult, mert ez bizonyult a legstabilabb nyelvnek az AI-modellek számára. A műsor felvétele előtti héten vált stabillá a héber és az arab nyelvű verzió, ezeket hamarosan tervezik kiadni. Ameen elmondása szerint az AI-modellek eleve képesek fordításra, így technikailag más nyelvekre is viszonylag könnyen kiterjeszthető a rendszer – az igazi kihívás inkább az, hogy más nyelveket beszélő felhasználóktól kapjanak visszajelzést arról, mennyire pontosan működik a fordított verzió.
A fejlesztők emellett egy külön NVDA-bővítményt is beharangoztak, amely a következő hetekben jelenik meg, és olcsóbb áron pótolja az NVDA hiányosságait, például a képernyőn látható tartalom leírását vagy összegzését, anélkül hogy a teljes Darvy-csomagot meg kellene vásárolni. Hosszabb távon szeretnék kiváltani a felhőalapú AI-modellek költségét helyben futó modellekkel, ez azonban egyelőre túl lassú megoldás: egy kérés feldolgozása a jelenlegi öt-tíz másodperc helyett akár két percig is eltarthatna helyi futtatás esetén, és ehhez is jóval erősebb gépre lenne szükség, mint amilyennel a legtöbb felhasználó rendelkezik.
A beszélgetés végén Steven Scott, a Double Tap egyik műsorvezetője azt is felvetette, hogy a fejlődés végül oda vezethet, ahol a hagyományos kezelőfelület gyakorlatilag eltűnik, és a felhasználó egyszerűen beszéddel irányítja a gépet – legyen szó egy alkalmazás megnyitásáról, egy e-mail elküldéséről vagy egy letöltött fájl elrendezéséről. Ameen szerint pontosan ez a Darvy hosszú távú iránya: nincs szükség kezelőfelületre, elég megnyomni egy gombot, és a rendszerrel egyszerűen beszélni kell.
Összegzés
Majd szerint a Darvy elsősorban szabadságot jelent számára: nem kell minden apró számítógépes feladathoz a testvérét hívnia, jövőre pedig egyetemre készül, és a szoftvert részben kifejezetten erre a célra építették. A Darvy nem a képernyőolvasók lecserélésére törekszik, hanem egy plusz réteget épít rájuk: természetes nyelven, kevesebb billentyűparanccsal teszi elvégezhetővé azokat a mindennapi feladatokat, amelyekhez korábban külön segítségre volt szükség.
A cikk a Double Tap podcast 2026. július 27-i adása alapján, AI felhasználásával készült, ezért apróbb pontatlanságokat tartalmazhat.