Racial profiling in AI-risicotaxatie. Wat is het en hoe komt het tot stand?

Door: Thomas Lindsen

In Nederland wordt sinds 2019 gebruik gemaakt van de recidive voorspellende software OXREC. Voornamelijk de Reclassering gebruikt deze software, om zo diagnoses en adviezen aan rechters en officieren van justitie te kunnen geven.[1] OXREC is een risicotaxatie-instrument dat werkt aan de hand van artificiële intelligentie (hierna: AI).[2] Deze software wordt gebruikt met de hoop een nauwkeurigere risico-inschatting te kunnen verzorgen dan de klassieke risicotaxatie.[3]

Risicotaxatie systemen die zijn gebaseerd op AI zijn relatief nieuw. De eerste stappen op het gebied van risicotaxatie en AI zijn gezet in de Verenigde Staten.[4] AI-risicotaxatie systemen berekenen de kans dat een reeds veroordeelde wederom een strafbaar feit zal plegen aan de hand van wetenschappelijk onderbouwde risicofactoren.[5] Risicofactoren zijn variabelen die zijn in te delen in twee categorieën. Als eerste zijn er statische factoren; factoren die de verdachte niet kan veranderen, zoals voorafgaande veroordelingen en leeftijd. Ten tweede zijn er dynamische factoren; factoren die wel veranderlijk zijn, zoals afhankelijkheid van verdovende middelen of impulsiviteit.[6] Welke variabelen worden ingevoerd in een AI-risicotaxatie systeem varieert per systeem.[7] Een AI-risicotaxatie systeem verwerkt deze risicofactoren door middel van supervised machine learning.[8] Supervised machine learning verwijst naar een geautomatiseerd proces waarbij het programma verbanden legt tussen verschillende variabelen in een dataset. Deze verbanden worden doorgaans gebruikt om voorspellingen of kansberekeningen te doen.[9]

Dit lijkt allemaal een super goed idee waardoor het strafproces wellicht objectiever, nauwkeuriger en eerlijker zou kunnen worden. Echter, zoals de lezer misschien al kan verwachten is dit te mooi om waard te zijn. Het blijkt namelijk dat AI-risicotaxatie systemen een risico-inschattingen soms op discriminatoire overwegingen baseren. Dit probleem ontstaat vanwege het feit dat een AI ‘leert’ aan de hand van de data die het gevoerd wordt. Deze dataset bestaat voornamelijk uit politiedata en deze politiedata blijkt vaak zelf discriminatoir te zijn.[10] De racistische verbanden in de politiedata worden dus in zekere zin overgenomen door de AI.[11]

Al met al lijkt AI-risicotaxatie conceptueel een goede ontwikkeling te zijn. Het kan een instrument bieden die objectiever en nauwkeuriger een risico-inschatting kan maken dan een deskundige, die altijd zijn subjectieve mening zal moeten betrekken in zijn oordeel. Echter, in de praktijk blijkt dat de bevooroordeelde wereld van het menselijk oordeel lijkt door te druppelen in de wereld van de besluitvorming van kunstmatige intelligentie.


[1] G. van Dijck, ‘Algoritmische risicotaxatie van recidive. Over de Oxford Risk of Recidivism tool (OXREC), ongelijke behandeling en discriminatie in strafzaken’, NJB 2020/1558, afl. 25, p. 1784.

[2] In dit artikel zal verder de term ‘AI-risicotaxatie systemen’ gebruikt worden wanneer wij spreken over risicotaxatie systemen die op AI zijn gebaseerd.

[3] W. Rhodes, ‘Machine Learning Approaches as a Tool for Effective Offender Risk Prediction’, Criminology & Public Policy (12) 2013, afl. 3, p. 507.

[4] G.M. de Vries e.a., ‘AI-risicotaxatie. Nieuwe kansen en risico’s voor statistische voorspellingen van recidive’, Strafblad 2021/2, p. 58.

[5] C. Slobogin, ‘Principles of Risk Assessment. Sentencing and Policing’, Ohio State Journal of Criminal Law (15) 2018, afl. 2, p. 584.

[6] J. Bijlsma, F. Bex & G. Meynen, ‘Artificiële intelligentie en risicotaxatie. Drie kernvragen voor strafrechtjuristen’, NJB 2019/2778, p. 3314.

[7] Slobogin 2018, p. 583.

[8] G. Contissa & G. Lasagni, ‘When it is (also) Algorithms and AI that decide on Criminal Matters. In Search of an Effective Remedy’, European Journal of Crime, Ciminal Law and Criminal Justice (28) 2020, afl. 3, p. 284.

[9] D. Lehr & P. Ohm, ‘Playing with the Data. What Legal Scholars Should Learn About Machine Learning’, Davis Law Review (51) 2017, p. 671.

[10] Denk aan: racial profiling en overpolicing etc.

[11] G.M. de Vries e.a., ‘AI-risicotaxatie. Nieuwe kansen en risico’s voor statistische voorspellingen van recidive’, Strafblad 2021/2, p. 64.