StatRec - Performance, Validation and Preservability of a Static Risk Prediction Instrument

Abstract

RésuméStatrec -Performance, validation et conservabilité d'un instrument de prédiction du risque statique. StatRec est un instrument de prédiction du récidivisme utilisant seulement un nombre limité de facteurs statiques. Dans cet article, nous discutons et actualiser le barème Statrec pour les ré-condamnations en quatre ans et d'évaluer ses performances prédictive sur plusieurs dimensions: le temps, la région et des sous-échantillons non aléatoires. En outre, en utilisant les données de dossier pénal, nous étudions dans quelle mesure l'ajout de facteurs dynamiques améliore la performance prédictive. La performance prédictive de l'échelle se révèle être relativement stable au fil du temps et comparable aux échelles OGRS en Angleterre et au Pays de Galles. La précision des probabilités estimées est le seul indicateur qui diminue légèrement à mesure que le temps passe. Bien que l'échelle ne fait pas usage de facteurs dynamiques et situationnels liés au risque de récidive, l'analyse des dossiers pénaux montrent que l'ajout n'améliorer le pouvoir prédictif que légèrement. L'échelle pourrait jouer un rôle dans la validation des instruments de risque dynamiques plus spécifiés. AbstractStatRec is a prediction instrument for recidivism making use of only a limited number of static factors. In this paper, we discuss and update the Statrec scale for four-year reconviction and evaluate its predictive performance over several dimensions: time, region and non-random subsamples. Additionally, using criminal file data we investigate to what extend adding dynamic factors improves the predictive performance. The predictive performance of the scale proves to be relatively stable over time and comparable to the England and Wales' OGRS-scales. The precision of the estimated probabilities is the only indicator that decreases slightly as time passes. Though the scale does not make use of dynamic and situational factors related to the risk of re-offending, criminal file analyses show that adding these enhance the predictive power only slightly. The scale could play a role in the validation of more specified dynamic risk instruments.

Fairness and Accountability Design Needs for Algorithmic Support in High-Stakes Public Sector Decision-Making

“…Instead, this police force would invite journalists over twice a year to see what the predictive teams "do, how [the algorithms] work, and what we are doing". Several public sector organisations using machine learning systems already publish information about the weights within their model, the variable importance scores, or record ethical experiences and challenges in the modelling process [76,55,62].…”