¿Has realizado alguna compra por Internet últimamente? ¿Has accedido a algún servicio digital? ¿Y crees que las decisiones tomadas al comprar o acceder a dichos servicios ha sido una decisión libre y atendiendo a tus propios criterios? Pues va a ser que no…
No dudamos que has buscado, comparado y tomado una decisión propia en base a gustos y necesidades, pero siento decirte que a tus gustos y necesidades le han dado “algo de ritmo”, es decir, tu decisión en gran medida ha sido “algoritmizada” (que es una palabra inventada, lo sé, pero en algún momento había que inventarla…)
Sobre algoritmos y su capacidad o competencia para dirigir nuestras decisiones vitales y no tan vitales se ha escrito largo y tendido y desde multitud enfoques en este y otros muchos blogs. Sin embargo, me gustaría compartir con vosotros mis dudas e inquietudes acerca de una aplicación concreta de los algoritmos. La toma de decisiones en el ámbito penal y el impacto de los sesgos en dichas decisiones.
El profesor Enrique Dans en su artículo Justicia y algoritmos: el estado de California y la libertad bajo fianza nos explica que el citado estado ha aprobado una ley que eliminará el pago de fianza en los tribunales, y recurrirá en su lugar a algoritmos que estimarán el riesgo de fuga o de cometer delitos adicionales en caso de ser puestos en libertad.
Explica el artículo que los defensores de los derechos civiles aplauden la eliminación de la fianza por considerar que es una “práctica discriminatoria que daba lugar a una justicia diferente para ricos y pobres”. Sin embargo, el diseño de los algoritmos contiene sesgos provenientes de los equipos que los desarrollan y los datos que los alimentan, por lo que, asegurar sin ningún género de duda que un algoritmo será neutral por defecto es, cuando menos, arriesgado. Esto no quiere decir que las personas que desarrollan algoritmos en todos los casos y de manera consciente quieran incorporar sesgos a los mismos, sino que mantener un algoritmo “limpio” de sesgos es realmente complicado. En este hilo de twitter, por ejemplo, se comenta inicialmente que el traductor turco-inglés de Google tiene un claro sesgo machista puesto que la traducción de ciertas profesiones, si estas históricamente se han desempeñado por hombres o mujeres, no ofrecen los mismos resultados en su traducción para ambos géneros (ingenierO; enfermerA). La explicación ofrecida es la frecuencia de uso, es decir, si en la base de datos que alimenta el algoritmo aparecen 900 ingenieros y 100 ingenieras el algoritmo ofrecerá como resultado principal el más usado. En ese punto se acusa a los desarrolladores de haber sido descuidados y “vagos” por no haber considerado incorporar factores de corrección para contrarrestar los sesgos provenientes de los datos que alimentan el algoritmo. También se plantea la necesidad de distinguir entre el algoritmo propiamente dicho y los datos que lo alimentan. Visto lo anterior, ¿hasta qué punto podemos considerar que la incorporación de un sesgo a un algoritmo es algo consciente, o derivado de falta de buenas prácticas?
Aunque la citada normativa aprobada hace foco en las medidas cautelares antes de un juicio (ingreso en prisión sin fianza u opcionalmente pago de fianza) debemos considerar que pasaría si el uso de algoritmos se extendiera a la determinación de las penas derivadas de una sentencia. Tomando algunas notas del trabajo “Individualización de la pena” indico a continuación las que, a priori, parecen complicadas de aplicar de manera neutral u objetiva:
- Determinación de Penas “Elásticas”: la ley determina un máximo y un mínimo, el juez debe fijarla según la naturaleza del hecho y a la personalidad del delincuente:
- Individualización judicial: Es la que hace el juez con arreglo a las modalidades objetivas y subjetivas del delito cometido. Deben considerar:
- la educación, las costumbres y la conducta precedente del sujeto,
- la calidad de los motivos que lo determinaron a delinquir,
- los demás antecedentes y condiciones personales,
- los vínculos sociales, la calidad de las personas y las circunstancias que demuestren su mayor o menor peligrosidad.
- estado de salud, su sexo, su inteligencia, su posición profesional y social.
- el juez debe tomar conocimiento directo y personal del sujeto.
La dificultad no está tan sólo en aplicar estas características a un algoritmo o una base de datos, sino hacerlo de manera neutral, sin que los sesgos y prejuicios que están arraigados en nuestra sociedad se trasladen al resultado.
El artículo del profesor Dans indica otros puntos que pueden ser controvertidos desde el punto de vista de la neutralidad y del viejo (y maltratado) principio de la “ley es igual para todos”:
- “El algoritmo, que los diferentes condados tendrán obligación de obtener bien a través de algún proveedor o mediante desarrollo propio”. ¿Cómo se garantizará la unificación de criterios de desarrollo o que los datos de alimentación serán consistentes?
- “Un algoritmo (..) para estimar el riesgo de reincidencia de los convictos y ayudar a los jueces a tomar decisiones sobre la extensión de sus penas (…) fue objeto de apelación (…), el acusado alegó que el uso de dicho algoritmo (..) violaba sus derechos porque evitaba que impugnase la validez científica (..) al desconocer el funcionamiento del algoritmo, y porque éste tenía además en cuenta variables como el género y la raza del acusado”. Las empresas desarrolladoras se escudan en principios de propiedad intelectual para no revelar los detalles sobre sus algoritmos. Siendo un punto de vista respetable y comprensible es evidente que impacta en el derecho de defensa al desconocer los motivos (variables) del resultado, chocando además con la obligación de dictar sentencias “motivadas” y “argumentadas”. En algunos casos, incluso los propios desarrolladores reconocen que ni siquiera ellos son capaces de explicar los resultados obtenidos de un modelo, puesto no son capaces de desentrañar qué camino ha seguido el modelo para llegar a una determinada conclusión.
Debemos considerar, además, otros aspectos a la hora de cuestionar la neutralidad de los algoritmos. Por ejemplo, los cambios normativos o la jurisprudencia y su impacto en las sentencias posteriores, ¿con que agilidad pueden aplicarse e implantarse?
Las soluciones no parecen sencillas pero al menos ambos mundos (tecnológico y jurídico) han tomado conciencia del mismo y, cada uno con su enfoque y a su “ritmo”, han empezado a pensar y aplicar diferentes soluciones.
- Consensuar principios para hacer un uso responsable de la inteligencia artificial y Elaboración de Códigos Éticos.
- Creación de proyectos, herramientas, y retos para detectar sesgos:
- Telefónica está organizando un reto en el área de LUCA, su unidad de datos.
- Accenture: ha desarrollado AI Fairness
- IBM: Trust and Transparency in AI
- Protección de Datos: Privacidad desde el diseño identificando las finalidades del algoritmo e informando de la inclusión de los datos en bases de datos que alimentarán algoritmos y, previsiblemente, podrán crear perfiles en base a los mismos.
Desde el punto de vista de Auditoría/Consultoría/Seguridad habrá que atender a los dos aspectos clave de la problemática, el algoritmo y la base de datos que alimenta:
- Algoritmo: CCN-STIC-807.
- Base de datos:
- General: Metodología
- Aplicación de técnicas específicas para reducir sesgos:
- Reordenación de resultados en pequeños subgrupos y verificación de proporciones de datos en cada uno de ellos.
- Eliminar el “impacto dispar”, analizando los resultados dispares y aplicando factores de corrección en los resultados “sesgados”
- Introducir restricciones proequidad a todos aquellos resultados cuando la ratio sea menor a un 80% (es el límite establecido para considerar que los resultados son discriminatorios).
En conclusión, está claro que los algoritmos impactarán en la rapidez de toma de decisiones, pero debemos estar atentos para garantizar que la rapidez no disminuirá la neutralidad ni la igualdad en los resultados. Si aplicamos “algo de ritmo”, que no perdamos el paso…
