A MICROSOFT FIGYELMEZTET: A WINDOWS 11 AI ÜGYNÖKEI HALUCINÁLHATNAK

Ezzel egy időben biztonsági kockázatot is jelenthetnek, hiszen kreatív módszerekkel kártékony feladatokra is bevethetik őket a támadók.
Víg Ferenc (J.o.k.e.r)
Víg Ferenc (J.o.k.e.r)
2025. dec. 1. 15:20
A Microsoft figyelmeztet: A Windows 11 AI ügynökei halucinálhatnak

A Microsoft idővel AI-központú, ügynöki funkciókkal felvértezett operációs rendszerré szeretné fejleszteni a Windows legmodernebb kiadását, ezt maga a Windows részlet vezetője jelentette be korábban, szavai azonban óriási felháborodást váltottak ki: a felhasználók nehezményezték, hogy olyan újításokat kényszerítenek rájuk, amiket nem kértek, miközben a lényegi újításokkal nem törődnek a fejlesztők, és a frissítéseket sem tesztelik eléggé, így azok sokszor okoznak komoly hibákat.

Nem sokkal később a Windows Insider Preview Program keretén belül be is jelentették, elérhetővé vált az AI ügynöki funkcionalitás kísérleti verziója, ami számos új lehetőséget kínál a felhasználók számára, többféle feladatot is rá lehet bízni az AI ügynökre, aki aztán ezeket megbízhatóan elvégezheti. A megbízhatóság és a biztonság persze egyelőre kérdéses, hiszen kísérleti, teszt jelleggel működő opcióról van szó, ami még bőven tartalmazhat hibákat, és a jelek szerint tartalmaz is, erre maga a Microsoft hívta fel a figyelmet.

Első körben arról volt szó, hogy az AI ügynök a cross-prompt injection, illetve az egyéb, kreatívan elrejtett promptokkal operáló támadásformákkal szemben esetenként védtelen lehet, azaz működése rejthet némi biztonsági kockázatot – ennek tudatában és vállalásában érdemes tesztelni az újítást. A napokban aztán még egy figyelmeztetést kiadott a Microsoft, ezúttal arra hívták fel a vállalkozó szellemű tesztelők figyelmét, hogy az AI ügynökök esetenként halucinálhatnak, vagyis a feladatvégzés során olyan eredményeket is produkálhatnak, amelyek váratlanok és nem feltétlenül illenek az adott kontextusba. Ez a jelenség nem egy ismeretlen dolog az AI szegmensben, így nem is túl meglepő, hogy a Microsoft megoldásánál is jelentkezhet.

Galéria megnyitása

Az AI ügynök funkció jelenleg nem működik alapértelmezetten, manuálisan kell bekapcsolni, ha szeretnénk kipróbálni a Windows Insider Preview Program keretén belül beszerzett Windows 11 tesztverzió alatt. Ehhez szükség lesz a 26220.7262-es buildre, de ennél frissebbel is próbálkozhatunk, ha éppen érkezett azóta új kiadás. A funkció bekapcsolásához a Settings menün belül található System lapra kell ellátogatni, ahol az AI Components menüponton belül találjuk meg az „Experimental agentic features” nevű beállítást.

Az AI ügynök jelenleg a Downloads, a Desktop, a Documents, a Pictures, a Music, valamint a Videos mappákhoz fér hozzá írási és olvasási jogkör keretén belül, futása viszont egy saját ügynöki munkaterületen belül zajlik, ami a Windows Sandbox funkcióhoz hasonlóan elkülönített futást biztosít. Az AI ügynököket a felkészült támadók hatékonyan rávehetik arra, hogy saját promptjaikat hajtsák végre, ehhez kreatívan elrejtett promptokkal próbálkozhatnak, amelyek közönséges dokumentumokban, felhasználói kezelőfelület részét képező elemekben, vagy akár különböző fájlokban is lapulhatnak. Ha ezekkel interakcióba lép az AI ügynök, az aktuális feladat helyett az új promptnak megfelelő munkát kezdheti elvégezni, ennek során telepíthet kártékony kódot, kiszivárogtathat bizalmas adatokat, például bankkártyával kapcsolatos információkat, illetve egyéb kártékony dolgot is megvalósíthat. Ennek veszélye reális, a Microsoft is elismerte.

Idővel mindenképpen muszáj lesz finomhangolhatóvá tenni az AI ügynök fájlrendszerrel és dokumentumokkal kapcsolatos jogköreit, illetve be kell építeni védelmi mechanizmusokat, amelyek a cross-prompt injection alapú támadások ellen védenek, amikor egy megadott prompt végrehajtása során a kártékony kódok írói kreatív módszereikkel saját utasításaikat injektálják be a feladatsorba, ezzel saját szolgálatukba állítva a funkciót.

Amennyiben szeretnénk tesztelni az AI ügynöki funkciót, mindenképpen olyan rendszeren tegyük, amiért nem kár, ha összeomlik – mármint szoftveres szinten –, és ne legyenek rajta visszaélésre alkalmas tartalmak sem. Ideális lehet erre a célra egy VM.

Hírlevél feliratkozás
A feliratkozással elfogadom a Felhasználási feltételeket és az Adatvédelmi nyilatkozatot.

12 hozzászólás

A komment írásához előbb jelentkezz be!
czibulazoli
czibulazoli
2025. dec. 1. 18:31
#2

Gyanítom ez valami generációs különbség lehet, de nekem 45 fölött egy operációs rendszerrel kapcsolatban az az elsődleges elvárásom, hogy az legyen, ami a lényege. Egy alap rendszer,egy háttér, ami biztosítja számomra a felületet ahhoz, hogy azt csináljak a gépen amit szeretnék. Telepíthessek és futtathassak programokat. Ezen felül semmire nicsen szükségem, és ha meglátom ahogy rámerőltetik az ilyen xarokat, sugárban tudok hányni. Minden telepítés után fél napom arra megy el, hogy lelőjjem a teljesen feleslegesen tárhelyet és erőforrásokat foglaló "nélkülözhetetlen" szolgáltatásokat, előre telepített programokat. A cortanával is csak addig foglalkoztam, amíg kikapcsoltam és eltávolítottam, az ilyen AI ügynökök sem fogják ennél tovább húzni. (Na persze egyelőre úgy néz ki, hogy még vagy 5 évig nem lesz win11-em, úgyhogy ez mindegy is.)

Aki meg annyira hülye, hogy ezekre az LLM modellekre bízza a gépét (meg az egész életét!!), azok lehet meg is érdemlik.

vanRobert
vanRobert
2025. dec. 15. 16:04

@BiroAndras "De pont az a lényege az LLM-eknek, hogy megértik amit mondassz. Ha nem így lenne, akkor nem tudnának értelmes válaszokat adni bonyolult kérdésekre is. "
Nem ÉRTI a kérdést, hanem a betanítás során felhalmozott millió vagy milliárd szókapcsolat alapján megpróbálja megtalálni a legvalószínűbb (=legtöbbett használt) következő szót. Mivel nincs intuitív képessége, így nem érti a a kérdést, ezért nem fog tudni válaszolni. Amit látunk az egy piszok nagy adatahlamazon elvégzett rohadt gyors valószínűség számítás eredménye. Nevezhetjük válasznak, de ez a "válasz" nem olyan, amit egy ugyanilyen beszélgetésben egy ember adna.
Ráadásul látványosan elhalasal olyan területen, ahol a beszélgetéshez szükséges információ nem érhető el digitálisan.

Resike
Resike
2025. dec. 1. 17:19
#1
Vissza az oldal tetejére