project
Data mining zonder discriminatie
Databases helpen politie en justitie om misdaad te bestrijden. Voorkomen moet worden dat hierbij etnische profilering of discriminatie optreedt.
Dit project onderzocht hoe discriminatie op basis van datamining door politie en justitie kan worden voorkomen. De onderzoekers toonden aan dat de huidige algoritmes verschillende discriminerende effecten hebben. Simpelweg gevoelige gegevens (zoals geslacht of ras) verwijderen bleek geen oplossing te zijn. Nieuw ontwikkelde algoritmes, met echte data getest, voorkomen discriminatie. Zij bieden wél een realistisch beeld van de verdeling van criminaliteit en de risico’s dat mensen een misdaad begaan.
Onderdeel van dit project was uitzoeken wat eigenlijk de discriminerende effecten zijn van de dataminingalgoritmes die politie en justitie op dit moment gebruiken. Het bleek dat verschillende discriminerende effecten kunnen optreden.
Een belangrijk verder resultaat is dat het simpelweg verwijderen van gevoelige gegevens (zoals geslacht en ras) uit databanken niet kon voorkomen dat er discriminerende patronen werden gevonden. Zelfs zonder deze gevoelige gegevens bleken dezelfde groepen boven te komen uit de profilering, maar dan op basis van andere (indirecte) eigenschappen. Denk bijvoorbeeld aan het hebben van een bepaalde postcode. Dit fenomeen staat bekend als het ‘redlining’ effect. Dat is eigenlijk een verergering van de situatie: de discriminatie is nog steeds aanwezig, maar kan niet langer als dusdanig worden herkend.
Nieuwe zoekalgoritmen
Doel van dit onderzoek was om met behulp van echte gegevens van politie en justitie na te gaan in hoeverre juridische en ethische richtlijnen in dataminingalgoritmes kunnen worden ingebouwd. Belangrijke ontwerpbeginselen daarbij waren transparantie en verantwoording met betrekking tot discriminatie. Meerdere van de nieuwe zoekalgoritmen die ontwikkeld werden, bleken discriminerende effecten aantoonbaar te voorkomen.
Alhoewel het is gelukt om discriminerende effecten te voorkomen met de nieuwe algoritmen, hebben deze wel als nadeel dat de betrouwbaarheid van de dataminingresultaten afneemt. Toch kunnen de nieuwe technieken toegevoegde waarde hebben, omdat ze beleidsmakers de mogelijkheid bieden om een optimale afweging te maken tussen het belang van non-discriminatie en betrouwbaarheid.
Etnisch profileren
Om efficiënt en effectief te kunnen optreden hebben politie en justitie informatie nodig over mensen die (mogelijk) een misdaad voorbereiden of uitvoeren. Er is steeds meer informatie beschikbaar in grote databases, en dataminingstechnieken helpen politie en justitie om daarmee geplande misdaden te verijdelen.
Deze nieuwe technieken kunnen echter ook tot etnische profilering leiden, wat juridisch niet toegestaan is en ethisch problematisch is. Het probleem is het volgende, zo legde projectleider Bart Custers in juni 2016 uit in een opiniestuk in dagblad Trouw:
“Dat er een statistisch verband bestaat tussen etniciteit en criminaliteit is zichtbaar in Nederlandse gevangenissen: daarin zijn bepaalde (niet-westerse) etniciteiten oververtegenwoordigd. Maar dat kan juist het gevolg zijn van etnisch profileren: als de politie vooral kijkt naar bepaalde etniciteiten, zullen die ook vaker in de strafrechtketen terechtkomen. Een causaal verband tussen etniciteit en criminaliteit is dan ook nauwelijks aantoonbaar, omdat veel criminologisch onderzoek wordt gebaseerd op justitiecijfers, die vertekend zijn als de politie etnisch profileert.“
Samenwerking
Om de doelen van dit project te bereiken werkten juristen, informatici en partijen uit de praktijk nauw samen:
- De onderzoekers analyseerden de relevante juridische wetten en ethische waarden (zoals non-discriminatie en privacy);
- Die zijn vervolgens door informatici geïmplementeerd in door hen ontwikkelde nieuwe zoekalgoritmen. De resultaten zijn daarna getest op echte politie- en justitiegegevens;
- Vervolgens zijn deze testresultaten onderzocht op potentiële ethische risico’s (zoals het optreden van discriminatie en privacy schendingen).
Wat doet een zoekalgoritme?
Grote hoeveelheden persoonsdata worden verzameld, opgeslagen en verwerkt. Deze data worden steeds meer geanalyseerd met behulp van geautomatiseerde systemen, die werken op basis van zoekalgoritmes. Door deze ‘datamining’ technieken is het mogelijk om allerlei statistische trends en patronen te ontdekken, op basis waarvan organisaties beleid kunnen ontwikkelen.
discrimination, data mining algorithms , ethnic profiling, transparancy , transparancy , privacy by design, police, crime prevention, selective sampling, redlining , data masking
Official project title: