Aby sądy działały poprawnie i zyskały zaufanie wśród ludzi, potrzebują obiektywizmu, niezależności i równego traktowania obywateli. Dziwnym zbiegiem okoliczności, to wszystko rzeczy, w których ludzie są słabi. Są podatni na wpływy, widzą świat z własnego, subiektywnego punktu widzenia i oceniają innych z bezpodstawnych przyczyn, jak kolor skóry, orientacji czy zachwalanie piramidek finansowych na facebooku. No, to akurat dobry argument, to nie jest marketing wielopoziomowy Renata, to złodziejstwo, nikt nie chce Twoich naturalnych szamponów za 150 złotych! Ludzie potrafią jednak tworzyć sprzęt, który zastępuje ich w zajęciach, w których sami nie są zbyt dobrzy. Czy da się to samo zrobić z sądownictwem?

To Dobre Pytanie

Pierwsza próba zastąpienia decyzji człowieka algorytmem miała miejsce już 1928 roku. Ernest W. Burgess przeprowadził analizę na podstawie danych z trzech więzień ze stanu Illinois, by przewidzieć, jacy więźniowie mogą złamać zasady warunkowego zwolnienia z więzienia. Wyznaczył 21 czynników, wśród których można znaleźć rodzaj przestępstwa, czas spędzony w więzieniu i typ społeczny osadzonego. Te typy społeczne są, delikatnie mówiąc, zaskakujące z punktu widzenia poziomu nauk społecznych XXI wieku. Można tu znaleźć menela, nieroba, pijaka, wieśniaka, czy czarną owce. To było uznane za poważne, naukowe określenia. Na swój sposób mi się podoba, to jest tak wypełnione chamstwem, że nie wiadomo od czego zacząć krytykę.

Mimo to jego badania okazały się być całkiem skuteczne. Udało mu się trafnie ocenić grupy niskiego ryzyka, uzyskując 90% skuteczności. Aż tylu ludzi zgodnie z przewidywaniami nie popełniło przestępstwa na zwolnieniu warunkowym. Nieco gorzej poszło z grupami wysokiego ryzyka, bo wbrew przewidywaniom jedna trzecia nie złamała warunków zwolnienia. Okazuje się, że nazywanie kogoś wieśniakiem nie daje szans na zrozumienie, jakie są szanse na jego recydywę.

Czy dzisiaj jest lepiej?

Współcześnie na czele prac nad algorytmami kryminologicznymi stoi Richard Berk, profesor statystyki z uniwersytetu Pensylwanii. I tutaj, niepewnym krokiem, przechodzimy ze świata codzienności to dystopijnego science fiction. Berk obecnie pracuje nad algorytmem, który jego zdaniem będzie zdolny do przewidzenia, czy dziecko, które właśnie się urodziło, popełni przestępstwo, zanim osiągnie pełnoletność. Ten człowiek mówi poważnie. I przyznam, że trochę się go boję.

Algorytmy Berka działają na podstawie drzew decyzyjnych. Algorytm wyszukuje związków w danych na temat ludzi, którzy popełnili przestępstwa. Na tej podstawie powstaje, no drzewo, takie z danymi, zamiast gałęzi. Jeżeli chce się przewidzieć jakieś informacje, jak szanse na recydywę, należy przejść po wcześniej wyłożonych gałęziach. Algorytm zakłada, że jeżeli ludzie o wyznaczonych przez niego cechach są niebezpieczni, to inni ludzie posiadający te cechy, będą niebezpieczni w przyszłości. Czy to prawda? Spokojnie, dojdziemy do tego. Do przewidywania przyszłości niemowląt Berkowi jeszcze daleko, ale to nie znaczy, że nie ma się czym chwalić.

Dzięki wprowadzeniu algorytmów w Rhode Island liczba osadzonych spadła o 17%, a recydywa o 6%. W Nowym Jorku 63% osób uznanych przez algorytm za niebezpieczne popełniło kolejne przestępstwo. Nadal nie jest to wiele, ale to lepszy wynik od tego, który otrzymali żywi sędziowie. Po 90 latach od badań Bugessa algorytmy nie radzą sobie jednak z przewidywaniem poważniejszych przestępstw. Przewidywalność popełnienia morderstwa wyniosła 7%, a przemocy domowej 31%. Zdaniem Berka to naturalny wynik, który bo Ci, którzy uznani są za niebezpiecznych po prostu nie są wypuszczani na zwolnienia warunkowe, co utrudnia pełną ocenę skuteczności algorytmu. Jakoś nikt nie chce wypuszczać na wolność sterty potencjalnych morderców, żeby sprawdzić, czy faktycznie kogoś zabiją.

W czym algorytm jest lepszy od człowieka?

Statystycznie algorytm ma przewagę nad człowiekiem. Nie powinno to dziwić, algorytm ma możliwość analizy danych w takiej ilości, jakiej człowiek nie mógłby przyjąć przez całe swoje życie. Algorytm jest też znacznie lepszy w tworzeniu obiektywnej oceny, co dla człowieka jest niemal niemożliwe. Aby sprawdzić, jak subiektywne opinie sędziów wpływają na wyroki, zapytano 47 sędziów ze stanu Wirginia o to, jaką decyzję podjęliby w konkretnej sprawie. Sprawa opisywała osiemnastoletnią kobietę, która została zatrzymana za posiadanie marihuany. Pochodziła z klasy średniej, miała dobre wyniki w nauce i nie opierała się podczas aresztowania. Nie wyraziła jednak skruchy z powodu swojego postępowania.

Nie wspominałbym o tym, gdyby wyniki były dobre. 29 sędziów uznało, że oskarżona jest niewinna, a 18 uznało ją a winną. Duży rozstrzał widoczny był w rodzajach kar nałożonych na wypełnioną zielenią studentkę. 8 sędziów zalecało objęcie jej nadzorem sądowym, czterech chciało ukarać ją grzywną, a trzej sędziowie chcieli wrzucić ją do więzienia.

Wystarczy trafić w sądzie na człowieka, któremu wydaje się, że marihuana to zioło szatana i koniec marzeń o dobrej pracy i stabilnej przyszłości. Taki wyrok może zniszczyć szanse na dobrą przyszłość prawie tak skutecznie, jak studiowanie politologii. Ocena szkodliwości społecznej korzystania z narkotyków to dopiero początek zabawy. Oto krótkie i całkiem nieprzyjemne zestawienie rzeczy, które mogą wpływać na sędziów i zmieniać ich wyroki – sędziowie przed obiadem są bardziej skłonni do zwolnienia za kaucją, sędziowie zapytani przez dziennikarza o to, czy oskarżony dostanie wysoki wyrok, z większym prawdopodobieństwem wydadzą wyższy wyrok, na sędziów wpływa też to, czy przed podjęciem decyzji rzucą kością. Rzucenie szóstki zwiększa karę wydaną przez sędziów. Miałem tu rzucić jakiś żart, w którym wspominam o jakiejś absurdalnej przyczynie, przez którą sędziowie zmieniają swoje wyroki, ale po co, jeżeli robi to za mnie kostka do gry, która naprawdę działa?

Algorytm nie ma z tym problemów. Nie je obiadów, nie męczy się, nie ma rąk, więc nie może rzucić kością, jest w pełni odporny na ludzkie słabości. Albo właściwie to powinien być odporny, bo o ile banalne z punktu widzenia maszyny problemy, jak zmęczenie, czy rzuty kością szybko przestają istnieć, to te poważniejsze, od dekad stanowiące problem dla sądownictwa, pozostają bez zmian.

Algorytmy nie lubią czarnych!

Nie lubią też biednych, młodych i tych o płci męskiej. Wynika to z faktu, że historycznie ludzie należący do tych grup są skazywani na wyższe kary za te same przestępstwa. Nie jest to miejsce na analizowanie z czego to wynika i czy te grupy powinno się traktować jako obywateli drugiej kategorii. Aby mieć pewność, że istnieje związek między przestępczością, a kolorem skóry potrzeba kilku książek, nie banalnego wpisu na blogu. Ale nawet przy założeniu, że to prawda, to trudno uznać, że to dobry system. Statystycznie, człowiek, który pali papierosy jest gorzej wykształcony od tego, który nie pali. Ale gdy spotkasz kogoś, kto pali, to raczej nie zakładasz, że do debil i nie ma sensu z nim rozmawiać. Sam fakt, że ktoś przynależy do grupy, wśród której przestępczość stoi na wysokim poziomie nie musi oznaczasz, że sam jest przestępcą.

Berk zakłada, że lepsze dla społeczeństwa jest, jeżeli algorytm ma więcej wyników fałszywie pozytywnych, niż fałyszywie negatywnych. Według Berka, lepiej jest zatrzymać w więzieniu kogoś, kto nie jest niebezpieczny, niż wypuścić kogoś, kto jest zagrożeniem. W związku z tym zakłamuje swój algorytm tak, by dawał błędne wyniki zgodne z tym poglądem.

No i nie wiem, czy można tak łatwo zgodzić się z Berkiem. Prawo Rzymskie tego nie robi. Według prawa rzymskiego In dubio pro reo przy braku pewności, lepiej jest wypuścić kogoś, kto jest winny, niż skazać niewinnego. Berk się z tym nie zgadza, podając przykład, zgodnie z którym meteorolog zakrzywia swoje przewidywania w kierunku większej szansy na deszcz, by ludzie brali ze sobą parasol. Co po prostu nie ma żadnego sensu. Nie znam żadnego meteorologa, ale coś czuję, że to nigdy się nie dzieje. Przedstawia też badania, zgodnie z którymi wypuszczenie kogoś, kto może popełnić przestępstwo jest 10 razy gorsze od pozostawienia w więzieniu kogoś, kto nic już nie zrobi. Niech sobie siedzi, tak na wszelki wypadek.

Ta niezgoda po części wynika z tego, że Prawo Rzymskie mówi o niepewności dotyczącej przeszłych wydarzeń, podczas gdy Berk zajmuje się potencjalnym zachowaniem w przyszłości. Ale to zdaje się go stawiać w jeszcze gorszej pozycji – w końcu chce decydować o zatrzymaniu więźnia na podstawie oceny, czy po wyjściu z więzienia popełni przestępstwo. Tworzenie takiej oceny nie jest niemoralne, ale przekonanie, że zna się przyszłość jest skazane na porażkę.

Berk przyznał też, że zmieniał algorytm po to, by jego wyniki zwyczajnie bardziej opłacalne. Nie dla niego, Berk nie bierze pieniędzy za swoją pracę, ale nie widzi problemu z "poprawianiem" systemu na prośbę organizacji, z którymi pracuje. W 2006 roku departament ds. zwolnień warunkowych Filadelfii miał plan, zgodnie z którym przestępcy uznani za najbardziej niebezpiecznych mieli być poddani terapii. Algorytm wykrył 8000 takich przestępców. Departament uznał, że nie stać go na tyle badań, więc Berk po prostu zaktualizował algorytm, by zmniejszyć liczbę ludzi potrzebujących terapii.

Decyzja o aktualizacji algorytmu, by zmniejszył liczbę ludzi stanowiących wysokie zagrożenie oznacza, że Berk nie miał problemu z podjęciem decyzji wbrew własnym poglądom, by dostosować się do potrzeb klienta. To przydatna cecha dla kogoś, kto jednocześnie wydaje książki historyczne i wymysły turbosłowian, ale nieco mniej dla kogoś, kto może mieć wpływ na funkcjonowanie sądownictwa. Po raz kolejny, sam Berk niczego na tym nie zyskał, ale chciałoby się, by taki system był niezależny od zewnętrznych sugestii, a jego twórca dążył do tego, by był jak najbliższy prawdy.

Czy komputer może ocenić człowieka lepiej, niż on sam?

To sprowadza nas na powrót do podstawowego problemu - czy komputer może ocenić człowieka lepiej, niż on sam? Cóż, witam w radosnym utylitarnym koszmarze – statystyki pokazują, że algorytm potrafi lepiej ocenić ryzyko, niż pojedynczy sędzia. Ale przez to, jak działają algorytmy przypisanie do grupy wysokiego będzie się kończyć wyższym wyrokiem, nawet jeśli się na niego nie zasłużyło. Tylko z powodu założenia zgodnie z którym jeżeli dzielisz kilka cech z innymi przestępcami, to sam pewnie zostaniesz przestępcą i nic tego nie zmieni. Kto by chciał trzymać w więzieniu kogoś, bo jest czarną owcą, no zobaczcie jaka jest słodka! Po co komu problem kolejki, nikt nie będzie miał okazji przejeżdżać ludzi pociągiem, a systemy oceniające zagrożenie są w użyciu w tej chwili i decydują o przyszłości wielu ludzi.

Według utylitaryzmu rozwiązanie jest jedno - brać oprogramowanie, ludzie sobie nie radzą. W końcu w przeciwieństwie do ludzi, technologia robi się coraz mądrzejsza. I w przyszłości może oceniać ludzi znacznie lepiej. Aby to zrobić, będzie potrzebować znacznie więcej danych o zachowaniu ludzi. To mogłoby pozwolić na poprawę bezpieczeństwa i bardziej sprawiedliwą ocenę każdego człowieka. Potrzeba tylko wyciągnąć z ludzi więcej informacji. Czy ja stworzyłem totalitaryzm? No tak stworzyłem totalitaryzm. Znowu to samo.

Koniec

---

Źródła -

Przede wszystkim – Hannah Fry – Hello World. Jak być człowiekiem w epoce maszyn? – polecam, dobra książka!

Też ważne – Artykuł o Berku, jego planach o przewidywaniu przyszłości dzieci, pracy w Filadelfii i paru innych rzeczach - https://www.bloomberg.com/features/2016-richard-berk-future-crime/

Typy społeczne wg Bugressa - https://scholarlycommons.law.northwestern.edu/cgi/viewcontent.cgi?referer=https://www.google.com/&httpsredir=1&article=2211&context=jclc

Wpływ rzutów kością na sędziów - https://www.researchgate.net/publication/7389517_Playing_Dice_With_Criminal_Sentences_The_Influence_of_Irrelevant_Anchors_on_Experts'_Judicial_Decision_Making

Uprzedzenia algorytmów - https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

Jak zmienić uprzedzenia algorytmów - https://www.researchgate.net/publication/315667137_Fairness_in_Criminal_Justice_Risk_Assessments_The_State_of_the_Art

Statystyka algorytmów Berka -
https://www.sciencealert.com/how-forensic-scientists-can-use-algorithms-to-predict-future-crimes

https://escholarship.org/uc/item/2xk8s2dh

Prawo Rzymskie - https://www.edukacjaprawnicza.pl/in-dubio-pro-reo/

Wyższe kary dla czarnoskórych - https://escholarship.org/uc/item/2xk8s2dh

Mniejsze wykształcenie u palących - https://gis.gov.pl/wp-content/uploads/2018/04/Postawy-Polak%C3%B3w-do-palenia-tytoniu-Raport-2017.pdf

Powyższy teks można zobaczyć na youtube -