Kan een AI-model dat is getraind op Amerikaanse politierapporten daadwerkelijk de taal van de Britse politie begrijpen? Een nieuwe studie zegt van wel—maar slechts tot op zekere hoogte. Onderzoeker Sam Relins wilde testen of LLM-kwetsbaarheidsdetectie betrouwbaar zou kunnen werken op Britse politierapporten van incidenten, voortbouwend op een classificatiepijplijn die oorspronkelijk was ontwikkeld met behulp van open-source Amerikaanse politiedata. De bevindingen, gepubliceerd op 30 september 2026, suggereren dat large language models signalen van kwetsbaarheid kunnen markeren in routinematige incidentbeschrijvingen, maar niet zonder intensieve menselijke correctie onderweg.
Inhoudsopgave
Belangrijkste bevindingen
- Bijna 3.000 geanonimiseerde Britse politierapporten van incidenten zijn geanalyseerd met behulp van een LLM-gebaseerde classificatiepijplijn die oorspronkelijk was ontwikkeld op open-source Amerikaanse politiedata.
- De pijplijn richtte zich op vier kwetsbaarheidsindicatoren: psychische problemen, middelenmisbruik, alcoholafhankelijkheid en dakloosheid.
- Indicatoren van psychische problemen kwamen voor in ongeveer één op de vijf incidenten, ofwel circa 20% van de zaken.
- LLM-voorspellingen in één enkele doorgang bleken instabiel en wezen systematisch te veel kwetsbaarheidsindicatoren toe in vergelijking met menselijke beoordeling.
- Schattingen van prevalentie op populatieniveau zijn haalbaar met substantiële menselijke beoordeling en statistische correctie, maar uitkomsten op individueel niveau blijven te onbetrouwbaar voor operationele beslissingen.
Een in de VS gebouwde LLM-pijplijn aanpassen aan de Britse politiepraktijk
De pijplijn achter deze studie is niet vanaf nul opgebouwd voor Britse politiekorpsen—zij begon haar leven op Amerikaanse politiedata en moest worden aangepast aan Britse incidentbeschrijvingen. Die aanpassing is de eerste horde die elk project rond large language models in de politiepraktijk moet nemen, omdat Amerikaanse en Britse incidentrapporten verschillen in structuur, terminologie en procedurele taal.
Hoe de pijplijn werkt en waar deze draait
In plaats van te vertrouwen op slechts één doorgang door het model, brengt het systeem meerdere rondes van modelinference, labelaggregatie, gestructureerde menselijke beoordeling en statistische correctie samen. Cruciaal is dat het draait op een lokaal gehost LLM met open gewichten, een ontwerpkeuze die de beveiligde omgevingen weerspiegelt waarin politiekorpsen moeten opereren. Gevoelige incidentdata kunnen niet zomaar via een commerciële cloud-API worden verstuurd, dus de aanpak in de studie houdt alles binnen infrastructuur die door het korps zelf wordt beheerd.
De pijplijn is ontworpen om vier specifieke kwetsbaarheidsindicatoren te markeren in elk incidentrapport: psychische problemen, middelenmisbruik, alcoholafhankelijkheid en dakloosheid. Deze categorieën zijn belangrijk omdat ze vaak niet worden vastgelegd in standaard administratieve velden, zelfs niet wanneer ze duidelijk aanwezig zijn in de vrije tekst die een agent na een melding uitschrijft.
Bijna 3.000 incidentrapporten, één op de vijf met signalen van psychische problemen
De studie maakte gebruik van bijna 3.000 geanonimiseerde incidentrapporten van één Brits politiekorps, waardoor de onderzoekers een substantieel maar gefocust databestand hadden om de nauwkeurigheid van de pijplijn te testen. Dit soort analyse van Britse politiedata is zeldzaam, juist omdat administratieve registraties kwetsbaarheid doorgaans niet op een gestructureerde, doorzoekbare manier vastleggen—het zit verstopt in proza, niet in aankruisvakjes.
Van de vier gevolgde indicatoren sprongen psychische problemen eruit. Ze kwamen voor in ongeveer één op de vijf incidenten, ofwel circa 20% van de geanalyseerde rapporten, en vormden daarmee veruit het meest voorkomende kwetsbaarheidssignaal in de dataset. Middelenmisbruik, alcoholafhankelijkheid en dakloosheid lieten alle drie een lagere prevalentie zien in vergelijking.
Dat cijfer van 20% is van belang buiten het onderzoekspaper zelf. Als routinematige screening op kwetsbaarheid in politierapporten bevestigt dat zorgen rond geestelijke gezondheid een betekenisvol deel van alledaagse meldingen raken, versterkt dat het argument om opnieuw na te denken over hoe agenten worden getraind en hoe multi-agencyresponsen in eerste instantie worden geactiveerd.
Waarom ruwe LLM-uitvoer niet te vertrouwen is zonder correctie
Ongecorrigeerd hielden de eerste antwoorden van het model geen stand. Classificaties in één enkele doorgang bleken instabiel en, zodra de uitkomsten werden geaggregeerd, wezen ze systematisch te veel kwetsbaarheidsindicatoren toe ten opzichte van wat menselijke beoordelaars daadwerkelijk aanwezig achtten in dezelfde rapporten.
Instabiele resultaten in één doorgang en het probleem van overtoewijzing
In de praktijk betekent dit dat het model één keer vragen om een incident te classificeren en dat antwoord klakkeloos overnemen, een scheef beeld zou hebben opgeleverd—een beeld dat meer kwetsbaarheid signaleert dan er daadwerkelijk in de onderliggende beschrijvingen aanwezig is. Dat is een betekenisvolle kloof voor elk systeem dat bedoeld is om beslissingen over inzet of trainingsprioriteiten te informeren.
Menselijke beoordeling en statistische correctie vullen de leemte
Die bias corrigeren was geen kleine aanpassing. De studie merkt op dat het oplossen van het probleem van overtoewijzing aanzienlijke menselijke inbreng en statistische bijstelling vereiste, en zelfs na dat werk bleef er aanzienlijke onzekerheid bestaan in de uiteindelijke cijfers. Met andere woorden: het model kan niet simpelweg worden aangezet en vertrouwd—er is een gestructureerde laag van menselijk toezicht omheen nodig voordat de uitkomsten iets verdedigbaars betekenen.
Wat dit betekent voor de operationele politiepraktijk
Dit is de praktische tweedeling waar de studie op uitkomt: LLM’s kunnen brede, korpsbrede schattingen ondersteunen, maar ze zouden niet moeten worden vertrouwd om uitspraken te doen over één enkel incident. Op populatieniveau kan de pijplijn verdedigbare prevalentieschattingen opleveren—maar alleen na die arbeidsintensieve combinatie van menselijke beoordeling en statistische correctie. Sla je die stappen over, dan zijn de cijfers niet betrouwbaar genoeg om op zichzelf te staan.
Op individueel niveau ziet het beeld er anders en voorzichtiger uit. Fouten blijven frequent en onvoorspelbaar van geval tot geval, wat betekent dat de uitkomsten niet geschikt zijn voor operationele beslissingen over één specifiek incident of persoon. Een korps zou dit systeem niet op verantwoorde wijze kunnen gebruiken om een specifieke melding als betrokken bij een kwetsbaar individu te markeren en uitsluitend op die markering te handelen.
Dit onderscheid raakt de kern van waarom dit breder van belang is voor de politiepraktijk: de technologie toont reële belofte voor het begrijpen van patronen in duizenden registraties, het soort inzicht dat de inzet van middelen, trainingsprioriteiten of multi-agencysamenwerkingen zou kunnen informeren. Maar die belofte strekt zich nog niet uit tot oordelen op de frontlinie, geval voor geval—en de middelen die nodig zijn om zelfs de cijfers op populatieniveau betrouwbaar te maken, zijn allesbehalve triviaal. De studie presenteert dit als zowel het potentieel als de beperking van het toepassen van LLM’s op ongestructureerde politiedata: nuttig op schaal, onbetrouwbaar van dichtbij.
Artikel geproduceerd met behulp van kunstmatige intelligentie en beoordeeld door de redactie.




