Računalniški sodnik

Slovenija bo dobila prvi računalniški program, ki bo v kazenskih postopkih namesto sodnikov odločal, kaj bo z obtoženimi, oziroma bo odločevalcem v pravosodju v pomoč pri odločanju, kot se lepše reče.

Ministrstvo za pravosodje je v postopku nabave računalniškega programa, s katerim si bodo uslužbenci službe za pogojne odpuste oziroma probacijske službe, ki se ukvarja z obsojenci pred prestajanjem kazni in po njem, pomagali pri »oceni dejavnikov tveganja«, kakršne podobne službe po svetu pripravljajo za policijo, tožilstvo, komisijo za pogojne odpuste in tudi sodišče, ko ti odločajo o pravicah obsojenca, med katerimi je najusodnejše odločanje o predčasnem odpustu iz zapora.

Nedavno sprejeti zakon o probaciji sicer uporabe takšnih računalniških programov pri delu te službe ne omenja niti z besedo. A na ministrstvu niso zanikali, da program kupujejo, in so dodali, da je »za zdaj o podrobnostih t. i. ’risk assessment’ pripomočka preuranjeno govoriti, saj je zadeva trenutno še v fazi usklajevanja, tako da odločitev, kako, kdaj in kdo bo pri tem sodeloval, še ni sprejeta«. Nekaj pa je vendarle že jasno: da bo program odločal o tem, kaj bo z obtoženci, na podlagi številnih osebnih podatkov, kot to počno drugi podobni programi, ki jih uporabljajo druga pravosodja po svetu. Med te tipično sodijo spol, starost, socialni status, stopnja izobrazbe, zaposlitveni status, premoženjsko stanje, družinsko življenje, kraj bivanja, stabilnost nastanitve, stopnja kriminala v soseski, kjer posameznik živi, socialna mreža, asocialni osebnostni vzorci, posameznikova uspešnost in medčloveški odnosi v službi, sodelovanje pri prostočasnih dejavnostih, druženje s kriminalci in številni drugi podatki, ki s kaznivim dejanjem samim nimajo nič. Včasih celo taki, ki nikoli ne bi smeli biti merilo pri odločanju v kazenskem pravu, kot sta rasna pripadnost in narodnost.

V čem je težava? V tem, da ti programi ljudi obsojajo na podlagi vseh mogočih osebnih okoliščin, ne na podlagi dokazov o storitvi posameznega kaznivega dejanja, saj imajo ti na »odločitev« programa zanemarljiv vpliv. In čeprav je glavni argument razvijalcev teh programov to, da se programi zmotijo manjkrat kot sodniki, se tudi programi motijo.

Delovanje računalniškega programa, ki odloča o tem, kaj bo z ljudmi v kazenskem sistemu, je lahko tudi tajno. Oziroma zavarovano kot intelektualna lastnina razvijalcev programa.

Zanimivo primerjavo so nedavno predstavili v časniku Wired. Vam je GPS že kdaj predlagal napačno pot, povsem nelogično pot oziroma pot, ki naj bi bila najhitrejša, pa ni bila? Vam je predlagal pot, za katero iz izkušenj rednega uporabnika nekaterih migracijskih poti vnaprej veste, da ni najhitrejša? Seveda vam je, in sicer zato, kot so zapisali v reviji Wired, ker programu »manjka širša slika, GPS upošteva le dejavnike, ki so programirani kot pomembni. Navsezadnje zato algoritem naslika nepopolno ali popačeno sliko, ki lahko povzroči, da nič hudega sluteči vozniki celo izgubijo nadzor nad vozilom.« Algoritem namreč ne ve, da se razmere na cestah vsak dan in v daljših obdobjih spreminjajo glede na vsakodnevne migracijske konice, dopuste in druge migracijske pritiske na ceste, spremenjeno signalizacijo, dela na cesti in da zaradi povečanega prometa nastajajo zastoji in se dogajajo nesreče ali okvare vozil, ki le še dodatno upočasnijo vožnjo po »najoptimalnejši poti«. A vi včasih veste to, česar GPS ne ve, in lahko uporabite »neoptimalno« cestno povezavo, ki je precej optimalnejša. No, z računalniškimi programi, ki odločajo o svobodi ali zaporu, višini kazenske sankcije in v bistvu o krivdi, pa ni nič drugače.

Človekove pravice kot zasebna lastnina

Trenutno najrazvpitejši primer uporabe računalniških programov za odločanje o tem, kaj bo z obtoženci, ki je vsaj nekoliko predramil do te problematike sicer povsem brezbrižno laično in strokovno ameriško javnost, je primer zvezne države Wisconsin proti Loomisu.

Eric Loomis je bil pravnomočno obsojen za sodelovanje pri streljanju iz mimo vozečega avtomobila. A ni bil obsojen na podlagi priznanja krivde oziroma sporazuma s tožilstvom kot velika večina (95 odstotkov) Američanov, ki jim sodnik zgolj izreče kazensko sankcijo, za katero so se dogovorili s tožilstvom. Sodnik je zavrnil sporazum in Loomisu izrekel višjo zaporno kazen, saj je računalniški program za oceno tveganja, imenovan Compass, za tega obtoženca pokazal »visoko stopnjo tveganja«. To se ni zgodilo prvič. Se je pa prvič zgodilo, da se je obsojenec, torej Loomis, pritožil na razsodbo, ker mu ni bilo omogočeno, da bi preveril, na podlagi katerih podatkov in na kakšen način je program izračunal stopnjo tveganja. Nadaljnji pravni postopki so razkrili, da do omenjenih podatkov obsojenci niso upravičeni, celo sodniki ne, saj so poslovna skrivnost podjetja oziroma so zavarovani kot intelektualna lastnina. Tako je na koncu odločilo vrhovno sodišče države Wisconsin in dovolilo nadaljnjo uporabo programa pri določanju kazni, čeprav ne sodniki ne obtoženci nimajo pravice vpogleda niti v to, kako deluje program, niti v to, na podlagi katerih podatkov izračunava »stopnjo tveganja« in koliko pomena pripisuje posameznemu izmed podatkov.

Prvi računalniški program, ki je sodnikom »pomagal« določati kazni, so uporabili že leta 1994 v zvezni državi Virginiji. Danes v ZDA namesto sodnikov o priporu in pogojnem odpustu iz zapora odločajo računalniški programi že v veliki večini zveznih držav oziroma v vsaj 30 zveznih državah. Vsaj osem zveznih držav pa računalniške programe uporablja za določanje višine kazenske sankcije, ki jo sodnik potem le še izreče.

Glavna težava je v tem, da razen nekaj piscev iz strokovne javnosti računalniški programi v pravosodju celo v ZDA ne zanimajo nikogar. Zaradi tega tudi ni bila opravljena nobena omembe vredna raziskava posledic vpeljave teh programov oziroma, kot so zapisali v časniku Wired, je, čeprav so računalniški programi prevzeli brezštevilna človekova opravila, »zelo malo znanega in transparentnega glede tega, kako ti programi delujejo. Nikjer pa se to pomanjkanje vpogleda v njihovo delovanje ne kaže bolj kot v pravosodnem sistemu. Brez primernih varovalk obstaja resna skrb, da bodo ta orodja spodkopala vladavino prava in izničila posameznikove pravice.«

Ko je dr. Aleš Završnik z Inštituta za kriminologijo pri Pravni fakulteti v Ljubljani nedavno v Pravni praksi pisal o vprašanju algoritmi v pravosodju da ali ne, je med drugim nedvoumno zapisal: »Pri kazenskem pregonu prihaja zaradi avtomatizacije kar do sistemskega rušenja domneve nedolžnosti in pravice do dolžnega postopanja (ang. due process).« Kot dokaz tega je navedel prav primer obsojenega Loomisa.

Karambol v ZDA in v Sloveniji

Drugače od voznikov, ki jih navigacijski sistemi vodijo v zastoje in nesreče, pravijo v reviji Wired, Američani vedo, kaj se skriva za ovinkom, in za to »ne moremo prepustiti nepreverjenim algoritmom, da slepo pripeljejo pravosodni sistem v prepad«. Še bolj jasno pa bi lahko bilo Evropejcem in tudi Slovencem, kakšne so posledice odpiranja vrat računalniškim programom v odločanje o prihodnosti ljudi. To jim kažejo prav izkušnje Američanov, ki se več kot 20 let po uvedbi prvih, »nedolžnih« računalniških programov za pomoč odločevalcem v pravosodju sprašujejo, kaj se jim je zgodilo in kako je mogoče, da so ti programi prodrli tudi tja, kamor ne sodijo – na sodniške stolčke.

Kaj imajo stopnja izobrazbe, zaposlitveni status, premoženjsko stanje, družinsko življenje in stopnja kriminala v soseski, kjer posameznik živi, z njegovo kazensko odgovornostjo? Nič.

Z uvedbo prvega takšnega programa v slovenski pravosodni sistem se bo Slovenija odpravila po isti poti. In to čeprav je že vnaprej jasno, da se bo ta pot končala s karambolom. Pravosodnim karambolom. Karambolom človekovih pravic, v katere se v kazenskem sistemu že tako najusodneje posega. Ta odločitev je bila sprejeta prav v času ministrovanja Gorana Klemenčiča, ki je še nedavno v intervjuju za Mladino pojasnjeval, da sprejema in podpira »inovativne informacijske rešitve v sodstvu, skupaj z uporabo kompleksnih analiz velikega števila podatkov«. In tudi, da bodo računalniški algoritmi po njegovem mnenju vse uporabnejši za »ocenjevanje dejanskega stanja, analiziranje sodne prakse in krepitev njene enotnosti in predvidljivosti«. A hkrati je Klemenčič dodal, da vendarle obstaja eno, sveto področje kazenskega prava, kamor po njegovem prepričanju sodobne tehnologije ne bi smele imeti vstopa – v »odločanje o krivdi in odgovornosti. To je nekaj imanentno človeškega in je in bo moralo vedno ostati v rokah sodnika ali porote.« Izkušnje iz ZDA kažejo, da se dogaja prav to.