A dam Jones, Ph.D.
V roce 2016 ProPublica způsobila rozruch, když vyhodnotila výkon softwaru používaného v trestním soudnictví řízení. Software, který se používá k hodnocení obžalovaného šance na spáchání dalších trestných činů, ukázalo se, že je způsobil různé výsledky při hodnocení černochů a Kavkazanů.
Význam této nesrovnalosti je stále předmětem nějaká debata, ale dva vědci z Dartmouth College požádali o základní otázka: je software dobrý? Odpověď oni přišli s je “není zvlášť”, jak by jeho výkon mohl být doplněno náborem lidí na Mechanický Turek nebo provedením a jednoduchá analýza, která brala v úvahu pouze dva faktory.
Software a zaujatost
Tento software se nazývá COMPAS , pro Correctional Profilování řízení pachatelů pro alternativní sankce. Trvá to brát v úvahu celou řadu faktorů týkajících se obžalovaných a použití vyhodnotit, zda se tito jednotlivci pravděpodobně dopustí další trestné činy a pomáhá identifikovat možnosti zásahu. COMPASje silně integrován do soudního řízení (viz tento dokument) z kalifornského ministerstva korekcí důležitost). Snad nejvýznamněji však někdy je vlivný při určování trestu, který může být založen na myšlenka, že by lidé, kteří budou pravděpodobně spáchat další zločiny, měli být uvězněn déle.
Vyhodnocení softwaru ProPublica se zaměřilo na zatčení v Broward County, Florida. Zjistilo se, že software měl podobný přesnost, pokud jde o předpovídání, zda jsou černé a kavkazské obžalovaní by se znovu urazili. Ale falešně pozitivní – případy, kdy software předpověděl další přestupek, který se nikdy nestal – dvakrát pravděpodobně zapojit černé obžalované. Falešné negativy, kde obžalovaní měli předpovědět, že zůstanou bez zločinů, ale ne dvakrát častěji zapojí bílé.
Ale jinými opatřeními software nevykazoval žádný náznak zaujatosti (včetně, jak bylo uvedeno výše, jeho celkové přesnosti). Takže význam těchto zjištění zůstal předmětem rozprava.
Vědci z Dartmouthu, Ja Dressel a Hany Farid, se rozhodli nezaměřovat se na zaujatost, ale na celkovou přesnost. Chcete-li tak učinit, oni vzal záznamy 1000 obžalovaných a extrahoval jejich věk, pohlaví, a kriminální historie. Byly rozděleny do skupin po 20 a Mechanický Turek byl zvyklý na nábor lidí, kteří byli požádáni, aby hádali pravděpodobnost, že by se každý z 20 jedinců dopustil další zločin během následujících dvou let.
Moudrost mechanických Turků
Když tito lidé spojili tyto výsledky, měli průměrnou přesnost 62 procent. To není příliš daleko od přesnosti COMPAS, což bylo 65 procent. V tomto testu vyhodnotilo více jednotlivců žalovaný, takže autoři je spojili a vzali většinu názor jako rozhodnutí. To přineslo přesnost až 67 procent, hrana COMPAS. Další měření mechanických Turků přesnost navrhovala, že byli stejně dobří jako software.
Výsledky byly také podobné v tom, že neexistovaly žádné významné rozdíl mezi jejich hodnocením černé a kavkazské obžalovaní. Totéž platilo, když autoři prezentovali podobné sada záznamů nové skupině lidí, ale tentokrát zahrnuta informace o závodě žalovaného. Takže celkově přesnost, tito nezkušení lidé byli zhruba stejně dobří jako software.
Byli však také zhruba tak špatní, protože také byli pravděpodobnější falešně pozitivně, když byl obžalovaný černý, i když ne ve stejném rozsahu jako COMPAS (37% falešně pozitivní míra pro Černí, ve srovnání s 27 procenty pro bílé). Falešně negativní míra, kde se předpovídalo, že se obžalovaní nebudou dopouštět, ale ano, byla také vyšší u Kavkazanů (40 procent) než u černochů (29%) procent). Tato čísla jsou pozoruhodně podobná sazbám Chyby společnosti COMPAS. Zahrnutí údajů o rase obžalovaných nepřineslo významný rozdíl.
Pokud by se algoritmus mohl shodovat s tím, co je téměř jistě a banda amatérů, Dressel a Faridreasoned, možná je to protože to není zvlášť dobré. Takže udělali řadu jednoduchých statistické testy (lineární regrese) pomocí různých kombinací údajů, které měli o každém obžalovaném. Zjistili, že to dokážou porovnat výkon COMPAS pouze pomocí dvou: věk žalovaný a celkový počet předchozích odsouzení.
To není tak šok, jak se zdá. Dressela Farid učiní velkou část tvrzení, které COMPAS údajně má zvažuje 137 různých faktorů při své predikci. Aprohlášení společnosti Equivant, společnosti vyrábějící software, poukazuje z toho je 137 pouze pro vyhodnocení zásahů; predikce opětovného použití využívá pouze šest faktorů. (Zbytek prohlášení se rozkládá na „to ukazuje, že náš software je docela dobře. “) Dressel a Farid také uznávají, že opětovné zatčení je nedokonalá míra budoucí trestné činnosti, jak některé zločiny ne vyústit v zatčení a v roce 2007 došlo k významným rasovým předsudkům sazby zatčení.
Co z toho všeho udělat, jde o to, zda jste pohodlné mít proces, který je špatný asi třetinu času ovlivňovat věci, jako kolik času lidé tráví ve vězení. Na v tuto chvíli však nic nenasvědčuje tomu, co je víc efektivní než to.
Science Advances, 2017. DOI: 10.1126 / sciadv.aao5580 (About DOI).
