6 Automating Government Decision-making: Implications for the Rule of Law

Criaturas empíricas en un mundo normativo

“…No sabemos cómo funciona, por lo que desconocemos qué lleva a un sistema de ADM a alcanzar una decisión concreta. Monika ZALNIERIUTE et al (2021) sostienen que esta opacidad es consecuencia de las limitaciones humanas para entender y explicar cómo opera la IA basada en datos, especialmente los sistemas de caja negra 26 . A esta falta de transparencia (GUTIÉRREZ DAVID la denomina "opacidad inherente", 2021: 177) hay que añadir el desconocimiento de su utilización, o incluso su utilización en etapas previas a la iniciación de un expediente administrativo, con lo que su control por el interesado será más difícil, acarreando una evidente merma de garantías en el procedimiento administrativo.…”

“…como resultado de la incorporación de un sistema de ADM. Evidentemente, ello facilita el análisis y cruce de datos provenientes de distintas administraciones públicas como la Agencia Tributaria, el Servicio Público de Empleo, y el Instituto Nacional de la Seguridad Social, entre otros; y como resultado, el sistema arroja probabilidades de incumplimientos legales a partir de las cuales se puede evacuar la correspondiente acta de infracción automatizada o incluso iniciar un expediente sancionador 27 . 26 Los autores identifican tres formas de opacidad: la primera es intencional y acontece cuando los sistemas de IA son tratados como bienes protegidos por derechos de autor, patentes o secretos comerciales, o bien cuando se utilizan datos sujetos a normas de privacidad o de protección de datos; la segunda forma de opacidad es el analfabetismo tecnológico ya que la mayoría de nosotros no seríamos capaces de extraer información útil del código base de la programación de sistemas de ADM; y la tercera forma de opacidad es la que generan las cajas negras (Monika ZALNIERIUTE et al (2021). CERRILLO i MARTÍNEZ apunta a una opacidad algorítmica deliberadamente provocada por las administraciones públicas: ocultar el conocimiento de los algoritmos a los destinatarios de las decisiones asistidas por sistemas de ADM para eludir la aplicación del mismo (CERRILLO i MARTÍNEZ 2019: 19).…”

“…Más aún, en la motivación del acto automatizado la norma no contempla la obligación de indicar que en la actividad administrativa se haya utilizado un sistema de ADM ni, menos aún la obligación de consignar el algoritmo utilizado 29 . Nos encontramos así ante una actividad administrativa opaca porque, en primer término, está lejos del alcance de entendimiento humano [a esta opacidad derivada de la tecnología se refiere Monika ZALNIERIUTE et al (2021)] y, en segundo lugar, porque la falta de transparencia (opacidad inherente según GUTIÉRREZ DAVID 2021: 177) hace imposible el control por parte del interesado (aunque hay que reconocer que el juez no está mucho más preparado).…”

Automated Administrative Orders in Lithuania

“…Nustatyta, jog naudojant COMPAS, juodaodžiai kaltinamieji buvo neteisingai įvertinti kaip priklausantys "didelei rizikai", taigi, tikėtina, kad jie padarys pakartotinius nusikaltimus du kartus dažniau nei baltieji. Atitinkamai netinkamos prielaidos buvo padarytos ir, atvirkščiai, -baltieji buvo įvertinti kaip mažesnės rizikos, tačiau pakartotinių nusikaltimų padarė dvigubai daugiau (Zalnieriute et al, 2021). Kaip teisingai pažymėjo Europos Tarybos veiksmingo teisingumo komisija, vertindama tokio pobūdžio sistemų naudojimą, tokios priemonės gali reprodukuoti nepagrįstą ir jau esamą nelygybę baudžiamojo teisingumo sistemoje -užuot taisius tam tikras problemines politikos kryptis, su technologijų pagalba jos gali būti įteisinamos (European ethical Charter..., 2018, p. 55).…”