1. oldal
Amikor 2013-ben Eric Loomist letartóztatták, mert egy olyan kocsit vezetett, amelyet egy lövöldözésben használtak az elkövetők, a bírósági ítélet megszületésében egy mesterséges rendszer is szerepet játszott. A bíró ugyanis nemcsak a magát bűnösnek valló vádlott korábbi tetteit vette figyelembe a büntetés megszabásakor, hanem a COMPAS nevű eszköz elemzését is.
Az Equivant (korábbi nevén Northpointe) által kifejlesztett rendszert az elkövetők profilozására használják, pontosabban annak felmérésére, hogy milyen eséllyel fog az illető újabb törvénybe ütköző dolgokat cselekedni. A program egy 137 kérdésből álló kérdőív alapján végzi el a kiértékelést.
A COMPAS csak egyike azon kockázatfelmérő rendszereknek, amelyeket az Egyesült Államokban a bűnüldözési szempontból veszélyessé váló területek meghatározására használnak, annak eldöntésére vetnek be, hogy milyenfajta felügyelet lehet a legoptimálisabb az elítélteknek, illetve amelyekkel - ahogy Loomis esetében is történt - a visszaesőket igyekeznek azonosítani a szakértők. A COMPAS adatai alapján úgy tűnt, hogy Loomis nagy valószínűséggel újra bűnelkövetővé válhat, a bíró pedig 6 éves börtönbüntetést szabott ki.
A vádlott arra hivatkozva, hogy a program működési módját nem hozták nyilvánosságra és nem engedték megvizsgálni, mi alapján mérlegel a rendszer, fellebbezett az ítélet ellen. A fellebbviteli bíróság azonban helybenhagyta az első döntést, mondván, hogy Loomis ellen akkor is ugyanez az ítélet született volna, ha a COMPAS-t nem vonják be a döntéshozatalba. A bíróság ugyanakkor arra intette az alacsonyabb szinten szolgáló bírókat, hogy ne hagyatkozzanak túlságosan a hasonló programokra, mivel nem tudni, hogy ezek mennyire megbízhatóak.
A szkepticizmus egy új vizsgálat alapján egyáltalán nem alaptalan: a Dartmouth szakértőinek kutatása szerint ugyanis a COMPAS semmivel sem jobb a visszaeső bűnözők azonosításában, mint a netről véletlenszerűen toborzott, laikus önkéntesek.
"Képzeljük csak el, hogy egy bírónak azt jelzi egy új szoftver, amelyről fejlesztői azt állítják, hogy nagyon megbízható és rengeteg adatot elemez, hogy egy vádlott nagy kockázatot jelent a visszaesés szempontjából" - mondja Hany Farid, a kutatócsoport egyik tagja. "És most képzeljünk el, hogy megkérdezünk 20 embert online, és mind azt mondják, hogy szerintük a vádlott újra bűnözni fog. Egyforma értékkel kezelnénk ezt a két eredményt? Aligha." Pedig a vizsgálat alapján hasonló mértékben megbízható mindkettő.
A COMPAS kapcsán már korábban is felmerültek kérdések. 2016-ban a ProPublica munkatársai 7000 letartóztatott COMPAS-profilját vizsgálták meg, és elemzésük során arra jutottak, hogy az algoritmus elfogult az afroamerikaiakkal szemben. Konkrétan kétszer gyakrabban fordul elő, hogy nagykockázatúnak ítél olyan feketéket, akik végül nem követnek el újabb bűntettet, mint a fehérek esetében. A fehéreket pedig indokolatlanul gyakran sorolja az alacsonykockázatú csoportba, állították az eredményekről beszámoló tanulmány szerzői.
Bár a ProPublica elemzését módszertanilag sokan kifogásolták, Julia Dressel és Farid a téma kapcsán felfigyelt egy másik, az elfogultságnál is nagyobb problémára. Mégpedig arra, hogy azt a legvérmesebb kritikusok is hallgatólagosan elfogadták, hogy a COMPAS pontosabban jelzi előre a várható viselkedést, mint egy ember tenné. Holott ezt semmilyen kutatás nem támasztotta alá.
Ennek pótlására Dressel és Farid maguk vágtak bele a szükséges vizsgálatokba. Négyszáz önkéntest toboroztak a neten, majd a ProPublica nyomozásában is szereplő vádlottakról rövid leírásokat mutattak meg nekik. A résztvevőknek pedig a rendelkezésre álló információk alapján meg kellett tippelniük, hogy az illető elkövet-e újabb bűntettet a következő két évben vagy sem.
2. oldal
A válaszadók átlagosan 63 százalékos pontossággal találták el a helyes választ, a csoport eredményeinek összesítésével pedig 67 százalékra nőtt az előrejelzések helyessége. A COMPAS ehhez képest 65 százalékos megbízhatósággal dolgozik, vagyis egy kicsit ugyan jobb, mint az egyes tippelők, de rosszabb, mint a teljes csoport. Holott az önkéntesek nem voltak kriminalisztikai szakértők, és a COMPAS által átvizsgált adatok töredékével rendelkeztek csak az elkövetőkről.
Akkor tehát miben is jobb a COMPAS bárkinél? Mivel a szoftver fejlesztője nem volt hajlandó részleteket elárulni a program működésével kapcsolatban, Dressel és Farid létrehoztak egy saját, nagyon egyszerű kockázatelemző algoritmust. Egy nagyon kezdetleges, gépi tanulásra képes rendszerről volt szó, amely azonban meglepő módon mindössze két adatból is hozni tudta a COMPAS megbízhatóságát: az elkövetők kora és a korábban elkövetett bűntettek száma alapján.
Ami ha belegondolunk, annyira nem is nagy fegyvertény. "Aki fiatal és máris sok bűnt követett el, az persze, hogy nagykockázatú" - mondja Farid. Érdekes módon más elemzők is hasonló eredményekre jutottak. Tavaly Cynthia Rudin, a Duke kutatója is igazolta, hogy egy személy kora, neme és bűnügyi előtörténete alapján néhány egyszerű művelettel ugyanolyan pontossággal megjósolható, hogy visszaesik-e, mint amire a COMPAS képes.
Az alapprobléma valószínűleg nem is az, hogy a COMPAS kiforratlan lenne, mondja Faris. Inkább arról lehet szó, hogy ennél többet nem lehet kihozni belőle jelenlegi formájában. Amikor Farid és Dressel saját algoritmusokat finomítani próbálták, újabb adatok bevonásával és bonyolultabb műveletekkel igyekezve pontosabbá tenni azt, az eredmények nem lettek megbízhatóbbak, mint amikor pusztán a bűnügyi előtörténetet és az életkort vette figyelembe a program.
Ez azt sugallja, hogy nem a programokkal van a baj, hanem egyszerűen nincs olyan bemenő jel, amely pontosíthatná az előrejelzéseket, mondják a szakértők. Lehetséges, hogy ez a maximum, amit ki lehet hozni a koncepcióból, és a visszaesés megjósolása ennél pontosabban nem lehetséges.
Sharad Goel, a Stanford kutatója ugyanakkor egy kicsit másként látja a helyzetet. A való világban a bírók sokkal több információt mérlegelnek, mint Dressel és Farid önkéntesei, ideértve a tanúvallomásokat, vád- és védőbeszédeket és más adalékokat is. Paradox módon ez az információhalmaz sokkal pontatlanabb jóslatokhoz vezethet, mint a kevesebb információ alapján meghozott döntések, hiszen több lehetőség nyílik az előítéletek érvényesülésére.
Egyszerűbb szabályok és kevesebb adat révén gyakran pontosabb kockázatfelmérés lehetséges, mondja Goel. Ez persze nem jelenti azt, hogy a kockázatelemző programok haszontalanok lennének, az ugyanakkor tény, hogy ha jól megválasztott információkat osztunk meg, még a nem szakértők is versenybe szállhatnak a gépi tanulásra képes programokkal, hangsúlyozza a szakértő.
Farid is úgy véli, hogy mindez nem azt jelenti, hogy a programokat hanyagolni kell az igazságszolgáltatásban. De az nagyon fontos lenne, hogy mindenki értse ezen rendszerek korlátait, és kritikával kezelje az eredményeket. Vagyis ne tulajdonítsunk ezeknek túlzott jelentőséget pusztán azért, mert egy bonyolult algoritmus dobta ki őket.
A szakértő ugyanakkor azt is leszögezi, hogy a hiányosságokra jó lett volna az előtt fényt deríteni, hogy a szoftvert alkalmazni kezdték az igazságszolgáltatásban. Nem pedig kivárni, míg valaki rájön, hogy mennyire korlátozott, amit fel tud mutatni a program.
