IA en el sistema judicial: ¿pueden los algoritmos decidir sentencias?
Cuando la eficiencia choca con la justicia: el debate que los tribunales no pueden ignorar.
Llevo años trabajando con tecnología y derecho, pero fue después de leer sobre la audiencia del Congreso estadounidense en AIPressa que empecé a profundizar en algo que me inquieta cada vez más: el uso de inteligencia artificial en decisiones judiciales. No hablo de herramientas administrativas o software de gestión de expedientes —eso ya lo usamos en Argentina—, sino de algo mucho más delicado: algoritmos que influyen, y en algunos casos determinan, quién va preso y por cuánto tiempo.
El problema no es teórico. Está ocurriendo ahora mismo, en múltiples jurisdicciones, y las consecuencias legales apenas comienzan a entenderse.
COMPAS: el algoritmo que decide tu futuro
El caso más emblemático es COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), un software desarrollado por Northpointe (ahora Equivant) que se utiliza en varios estados de EE.UU. para evaluar el riesgo de reincidencia de un acusado. Los jueces reciben un puntaje: alto riesgo, riesgo medio o bajo riesgo. Ese número pesa —y mucho— al momento de decidir fianzas, sentencias y libertad condicional.
En 2016, ProPublica analizó más de 7.000 casos en el condado de Broward, Florida, y descubrió que los acusados negros tenían el doble de probabilidades que los blancos de ser clasificados incorrectamente como de alto riesgo de reincidencia, mientras que los acusados blancos eran más propensos a ser incorrectamente etiquetados como de bajo riesgo.
Leé esos números otra vez: el doble de probabilidades. No estamos hablando de errores marginales. Solo el 20% de las personas clasificadas como de alto riesgo de cometer delitos violentos realmente lo hicieron.
Northpointe, por supuesto, negó las acusaciones. Pero ahí está el problema: nadie puede verificarlo. El algoritmo es propiedad privada, secreto comercial. Los acusados no saben qué variables pesan en su contra ni cómo refutarlas. Y los jueces tampoco entienden completamente cómo funciona el sistema que están usando para decidir años de prisión.
Estado vs. Loomis: el precedente que legitimó la caja negra
En 2016, Eric Loomis fue sentenciado en Wisconsin a ocho años y seis meses de prisión basándose, en parte, en que COMPAS lo había clasificado como de alto riesgo. Loomis apeló alegando violación al debido proceso: ¿cómo podía defenderse de un algoritmo cuyo funcionamiento no se le revelaba?
La Corte Suprema de Wisconsin desestimó los reclamos porque los informes de COMPAS estaban disponibles tanto para el acusado como para el Estado, y porque el puntaje de riesgo no debía ser el único factor en la determinación de la sentencia.
Leamos entre líneas: el tribunal dijo que está bien usar una caja negra propietaria para influir en sentencias siempre que (1) ambas partes vean el resultado final y (2) el juez considere “otros factores”. Pero, ¿qué pasa cuando el juez confía en el algoritmo más que en su propio criterio? ¿Y qué pasa cuando esos “otros factores” también están sesgados por décadas de discriminación sistémica?
Eric Holder, cuando era Fiscal General de EE.UU., advirtió que estas herramientas podrían exacerbar disparidades injustificadas ya demasiado comunes en el sistema de justicia penal. Y tenía razón.
China: la justicia algorítmica sin disculpas
China ha desarrollado sistemas de IA aún más ambiciosos: el asistente judicial Xiaozhi, capaz de analizar materiales de casos, resumir disputas en tiempo real y producir borradores de sentencias. Los “tribunales de internet” chinos resuelven millones de casos al año —disputas de comercio electrónico, propiedad intelectual, préstamos en línea— mediante audiencias virtuales con jueces holográficos generados por IA.
Un funcionario del tribunal de internet de Hangzhou explicó que el sistema opera 24 horas al día, siete días a la semana, y está diseñado para aliviar la carga de trabajo de los humanos y mejorar la velocidad y efectividad del proceso legal.
Suena eficiente, ¿verdad? Pero pensemos en las implicaciones. En diciembre de 2019, el juez robot Xiaozhi cerró exitosamente un caso de disputa de préstamo privado bajo supervisión de un juez humano; todo el proceso tomó solo 30 minutos.
Treinta minutos para resolver un conflicto que afecta el patrimonio de una persona. ¿Es eso justicia o es una línea de ensamblaje judicial? Y lo más importante: ¿qué pasa cuando el algoritmo se equivoca? ¿Quién responde? El sistema 206 de China asiste al personal de seguridad pública y tribunales con verificación de evidencia y argumentación de juicios. Verificación de evidencia. Dejá que eso te cale.
Estonia: el mito del robot judge
Seguro leíste los titulares: “Estonia desarrolla un juez robot para resolver reclamos menores”. La realidad es más modesta. El Ministerio de Justicia de Estonia aclaró que no está desarrollando un juez robot de IA para reemplazar a jueces humanos, sino que busca optimizar y automatizar pasos procesales en procedimientos judiciales.
El proyecto contemplaba analizar documentos legales y otra información relevante para llegar a una decisión en disputas de reclamos menores, con un juez humano teniendo la oportunidad de revisar esas decisiones. Pero incluso esto generó alarmas.
David Engstrom, experto en gobernanza digital de Stanford, advirtió que los ciudadanos estonios podrían confiar en el uso gubernamental de sus datos digitales hoy, pero las cosas podrían cambiar si uno de estos nuevos sistemas de toma de decisiones basados en IA sale mal.
Y tiene razón. La confianza en las instituciones es frágil. Un error algorítmico de alto perfil puede destruir décadas de legitimidad judicial.
Reino Unido y Europa: el sesgo oculto en el sistema
En el Reino Unido, el sistema Oasys ha influido en decisiones judiciales desde 2001, afectando otorgamiento de fianzas, sentencias, clasificaciones de seguridad carcelaria y asignaciones a programas de rehabilitación.
Los sistemas de IA como Oasys dependen de datos de arrestos como proxies del crimen, cuando en realidad podrían ser proxies de aplicación de la ley con sesgo racial. Si la policía arresta desproporcionadamente a personas de minorías étnicas —y lo hace—, el algoritmo aprende que esas minorías son más “peligrosas”. Es un círculo vicioso perfecto.
Datos del Reino Unido mostraban más de 66.500 casos pendientes en Crown Court y 347.820 en Magistrates Court en 2023, por lo que no sorprende que los jueces hayan recibido aprobación para usar IA para impulsar la productividad. La presión por la eficiencia está empujando a adoptar tecnología sin las salvaguardas necesarias.
En el Reino Unido, las personas negras son vigiladas y criminalizadas desproporcionadamente más que las blancas en cualquier medida: registros y cacheos, arrestos, enjuiciamientos, detención preventiva, encarcelamiento y más. Alimentar esos datos a una IA no neutraliza el sesgo. Lo automatiza y lo vuelve invisible.
Argentina: ¿estamos preparados?
Ahora hablemos de casa. El Ministerio de Justicia de Argentina lanzó el Programa Nacional Integral de Inteligencia Artificial en la Justicia mediante resolución 149/24, con el objetivo de automatizar procesos en el ámbito del Ministerio y del Poder Judicial de la Nación.
La Ciudad de Buenos Aires implementó el “Motor de Inteligencia Artificial” (MIA) a fines de 2023 en el sistema de gestión judicial EJE, aplicado inicialmente en procesos masivos del fuero Contencioso Administrativo, Tributario y de Relaciones de Consumo. MIA genera borradores identificados con una etiqueta, automatizando tareas repetitivas.
Varias provincias argentinas se sumaron al Programa Piloto de Inteligencia Artificial Generativa impulsado por la Junta Federal de Cortes (JuFeJus), incluyendo Buenos Aires, San Juan, Santa Fe, Córdoba, Mendoza y otras.
La pregunta que nadie está haciendo con suficiente fuerza es: ¿tenemos los marcos legales para esto?
En Argentina, el derecho al debido proceso está garantizado constitucionalmente. Los operadores judiciales deben estar concientizados y atentos ante los desafíos que presentan estas nuevas herramientas, respetando la responsabilidad de efectuar siempre la revisión final de lo que genera la IA. Pero, ¿qué pasa cuando un juez con 200 expedientes confía ciegamente en el borrador de MIA porque “siempre ha sido correcto”?
Los juicios ejecutivos constituyen una parte significativa del volumen total de casos en juzgados de primera instancia civiles y comerciales; la automatización de estas tareas liberaría recursos valiosos para casos más complejos. Suena razonable. Pero los juicios ejecutivos afectan el patrimonio de personas, muchas veces vulnerables. ¿Estamos dispuestos a sacrificar garantías procesales en el altar de la eficiencia?
El problema real: no es la tecnología, es la falta de controles
Acá está la verdad incómoda: la IA no es intrínsecamente mala para el sistema judicial. El problema es cómo la estamos implementando.
Primer problema: sesgo sistémico. COMPAS sobreestima el riesgo de reincidencia para las mujeres, lo que lleva a sentencias injustas de delincuentes femeninas. Además, estudios descubrieron resultados discriminatorios similares para hispanos. Si entrenás un algoritmo con datos históricos sesgados, obtenés decisiones sesgadas. No hay magia que lo solucione.
Segundo problema: cajas negras. Un caso judicial en Wisconsin que desafió el uso de una herramienta de evaluación de riesgo tuvo éxito solo hasta cierto punto; el tribunal dictaminó que el gobierno no tenía que revelar el algoritmo subyacente, pero requirió que las autoridades emitieran advertencias cuando se usara la herramienta. O sea: podés ser sentenciado basándose en un algoritmo que ni vos ni tu abogado pueden examinar. ¿Cómo se defiende uno de eso?
Tercer problema: responsabilidad difusa. Si un juez humano comete un error, podés apelarlo, impugnarlo, llevarlo ante tribunales de ética. ¿Pero si el error lo cometió el algoritmo? ¿A quién demandás? ¿Al programador? ¿A la empresa? ¿Al Estado que lo compró? ¿Al juez que confió en él?
Cuarto problema: el mito de la objetividad. Proponentes argumentan que los algoritmos superan los sesgos sociales de los tomadores de decisiones humanos, citando su mayor exactitud comparada con humanos. Pero la “exactitud” no es sinónimo de justicia. Un estudio subsecuente mostró que COMPAS es algo más preciso que individuos con poca o ninguna experiencia en justicia penal, pero menos preciso que grupos de tales individuos.
Lo que necesitamos (y urgente)
1. Transparencia obligatoria. Ningún algoritmo propietario debería influir en decisiones judiciales sin auditoría independiente. Punto. Si una empresa no puede o no quiere revelar cómo funciona su sistema, que no lo venda a tribunales.
2. Marcos éticos vinculantes. En 2018, el Consejo de Europa adoptó su carta de ética para IA en la judicatura, que establece principios éticos relacionados con el uso de IA en sistemas y procesos judiciales. Argentina necesita algo similar, con fuerza de ley.
3. Estudios de impacto obligatorios. Antes de implementar cualquier sistema de IA en procesos judiciales, debe hacerse un análisis riguroso de potenciales sesgos, con participación de sociólogos, científicos de datos, abogados defensores y organizaciones de derechos civiles.
4. Derecho a la explicación. Todo acusado debe tener derecho a una explicación comprensible de cómo un sistema de IA llegó a su conclusión. Nada de “el algoritmo dice que sos de alto riesgo”. ¿Por qué? ¿Basándose en qué variables? ¿Cómo puedo refutarlas?
5. Supervisión humana real. No alcanza con que un juez “pueda revisar” las decisiones de IA. Debe haber protocolos estrictos que garanticen que la revisión efectivamente ocurra y no sea meramente formal.
6. Responsabilidad clara. Necesitamos legislación que establezca cadenas de responsabilidad: si un algoritmo falla, debe haber consecuencias legales identificables.
Reflexión final: el derecho no se escribe en código
La Dra. Marcela De Langhe, del Tribunal Superior de Justicia de Buenos Aires, afirmó: “Soy plenamente consciente de que el futuro del derecho se escribe en código y que la inteligencia artificial vino a desafiarnos a trascender nuestros roles tradicionales y a convertirnos en arquitectos de una nueva justicia”.
Con todo respeto a la doctora De Langhe, no estoy de acuerdo. El derecho no se escribe en código. Se escribe en principios: debido proceso, presunción de inocencia, igualdad ante la ley, derecho a la defensa. El código puede ser una herramienta para aplicar esos principios de manera más eficiente. Pero nunca —nunca— puede reemplazarlos.
La justicia no es una ecuación matemática que se resuelve optimizando variables. Es un ejercicio de razonamiento moral, de ponderación de valores en conflicto, de empatía y criterio humano. Un algoritmo puede sugerir, puede asistir, puede alertar. Pero no puede, ni debe, decidir.
Porque cuando dejamos que un algoritmo opaco decida quién va preso, no estamos modernizando la justicia. Estamos renunciando a ella.
Y eso, colegas, es algo que ningún abogado debería estar dispuesto a aceptar.
Referencias
ProPublica - How We Analyzed the COMPAS Recidivism Algorithm https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
Wikipedia - COMPAS (software) https://en.wikipedia.org/wiki/COMPAS_(software)
Research Outreach - Justice served? Discrimination in algorithmic risk assessment https://researchoutreach.org/articles/justice-served-discrimination-in-algorithmic-risk-assessment/
ProPublica - Machine Bias https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
Massive Science - Can the criminal justice system’s artificial intelligence ever be truly fair? https://massivesci.com/articles/machine-learning-compas-racism-policing-fairness/
Columbia Human Rights Law Review - Reprogramming Fairness: Affirmative Action in Algorithmic Criminal Sentencing https://hrlr.law.columbia.edu/hrlr-online/reprogramming-fairness-affirmative-action-in-algorithmic-criminal-sentencing/
Ministry of Justice and Digital Affairs Estonia - Estonia does not develop AI Judge https://www.justdigi.ee/en/news/estonia-does-not-develop-ai-judge
Harvard International Review - Your Honor, AI https://hir.harvard.edu/your-honor-ai/
World Economic Forum - Estonia is building a ‘robot judge’ to help clear a legal backlog https://www.weforum.org/stories/2019/03/estonia-is-building-a-robot-judge-to-help-clear-legal-backlog/
ResearchGate - ‘Intelligent Justice’: AI Implementations in China’s Legal Systems https://www.researchgate.net/publication/358318071_’Intelligent_Justice’_AI_Implementations_in_China’s_Legal_Systems
Supreme People’s Court of China - Building a “Provincial Digital Court” https://english.court.gov.cn/2022-06/02/c_767040.htm
VOA Learning English - Robot Justice: The Rise of China’s ‘Internet Courts’ https://learningenglish.voanews.com/a/robot-justice-the-rise-of-china-s-internet-courts-/5201677.html
Justicia.ar - Inteligencia artificial https://www.justicia.ar/iniciativas/inteligencia-artificial
Argentina.gob.ar - El Ministerio de Justicia usa Inteligencia Artificial https://www.argentina.gob.ar/noticias/el-ministerio-de-justicia-usa-inteligencia-artificial-en-beneficio-de-los-profesionales-del
Argentina.gob.ar - Programa Nacional de Inteligencia Artificial en la Justicia https://www.argentina.gob.ar/noticias/programa-nacional-de-inteligencia-artificial-en-la-justicia
Consejo de la Magistratura CABA - El impacto de la Inteligencia Artificial en el Poder Judicial https://consejo.jusbaires.gob.ar/opinion/el-impacto-de-la-inteligencia-artificial-en-el-poder-judicial-de-la-ciudad/
Infobae - La justicia argentina explora la inteligencia artificial en Estados Unidos https://www.infobae.com/judiciales/2025/10/08/la-justicia-argentina-explora-la-inteligencia-artificial-en-estados-unidos/
Fundar - IA en procesos judiciales https://fund.ar/publicacion/uso-de-inteligencia-artificial-en-los-procesos-judiciales/
The Conversation - A ‘black box’ AI system has been influencing criminal justice decisions https://theconversation.com/a-black-box-ai-system-has-been-influencing-criminal-justice-decisions-for-over-two-decades-its-time-to-open-it-up-200594
Sentencing Academy - The Techno-Judiciary: Sentencing in the Age of Artificial Intelligence https://www.sentencingacademy.org.uk/sentencing-in-the-age-of-artificial-intelligence/
Fair Trials - AI, data analysis and algorithms https://www.fairtrials.org/campaigns/ai-algorithms-data/
Video recomendado
Para profundizar en este tema, te recomiendo este video interesante:
El futuro de la justicia: cómo la inteligencia artificial está cambiando el derecho | La Nación
Un análisis sobre cómo la inteligencia artificial está transformando el sistema judicial, muy relevante para entender los desafíos y oportunidades que enfrentamos en Argentina y el mundo.