Los Estados están delegando cada vez más un conjunto de decisiones trascendentales a los algoritmos. En ningún ámbito este giro es más visible—ni más problemático—que en el de la seguridad ciudadana y la justicia. Hoy, los algoritmos se utilizan para decidir quién debe ser detenido antes del juicio, dónde se deben desplegar patrullas policiales, e incluso qué rostros deben ser señalados como sospechosos. Estas herramientas prometen mayor coherencia en la toma de decisiones y la posibilidad de superar los sesgos bien documentados del juicio humano. Pero también plantean preguntas difíciles sobre la equidad, la rendición de cuentas y el futuro de la gobernabilidad democrática.

Los algoritmos son conjuntos de reglas que procesan información: procedimientos que toman ciertos datos de entrada y producen una salida. En el contexto de la seguridad y la justicia, muchos de los algoritmos que se están implementando se basan en aprendizaje supervisado. Estos sistemas se entrenan con datos etiquetados: se usan ejemplos pasados en los que tanto las características (por ejemplo, edad o antecedentes de un acusado) como los resultados (por ejemplo, si reincidió o no) son conocidos. El resultado es una predicción: ¿qué tan probable es que una persona con características X o Y cometa otro delito si la dejamos en libertad condicional? ¿Cuál es la probabilidad de que ocurra un robo en una esquina específica la próxima semana?

Un ejemplo prometedor es el uso de herramientas algorítmicas de evaluación de riesgo. Estos modelos predicen la probabilidad de reincidencia o de inasistencia a una audiencia judicial, usando datos históricos para ajustar sus parámetros. Al hacerlo, ofrecen una posible corrección a las fallas del juicio humano en las decisiones previas al juicio. Numerosos estudios han mostrado que los jueces, a pesar de su autoridad, son incapaces de predecir el comportamiento futuro de los acusados. Sus decisiones pueden verse influidas por factores irrelevantes: por ejemplo, si es casi la hora del almuerzo o si su equipo de fútbol universitario perdió o no el fin de semana pasado. También tienden a dejarse llevar por el precedente inmediato: los casos anteriores sesgan sus decisiones actuales. En conjunto, muestran baja precisión al evaluar quién representa un riesgo real.

Es comprensible, entonces, que reformistas de distintas corrientes políticas consideren el uso de algoritmos una posibilidad. Si una máquina puede identificar con mayor fiabilidad a las personas de bajo riesgo, los beneficios pueden ser sustanciales: menos detenciones innecesarias, mejor uso de los recursos, y mayor coherencia en las decisiones. Además, si el sistema judicial suele dejar en libertad a criminales de alto riesgo, también debemos buscar soluciones nuevas para reducir la reincidencia criminal.

Sin embargo, los mismos datos que alimentan estas herramientas con frecuencia codifican patrones históricos de desigualdad y discriminación. Si los datos de entrenamiento reflejan un mundo en el que las personas negras o migrantes latinoamericanas (en Estados Unidos) son capturadas con mayor frecuencia —independientemente de su comportamiento real—, el algoritmo puede aprender a asociar raza o etnia o vecindario con riesgo. Y, dado que estos sistemas suelen ser propiedad de empresas privadas, el público no tiene forma de examinar cómo se producen las predicciones ni de impugnar su uso.

Los riesgos son reales. El software de reconocimiento facial se equivoca mucho más con personas de piel oscura que con personas blancas. Las herramientas de “policía predictiva”, que anticipan dónde ocurrirán delitos, tienden a enviar patrullas a los mismos vecindarios que ya están saturados de presencia policial, con el riesgo de profundizar relaciones tensas entre las comunidades y las autoridades. Como demuestra el economista Giovanni Mastrobuoni en su estudio sobre Milán, estas tecnologías pueden mejorar las tasas de esclarecimiento y reducir el crimen. Pero incluso los despliegues bien intencionados corren el riesgo de reforzar desigualdades, si no se acompañan de marcos éticos e institucionales robustos.

La literatura reciente en economía del crimen ha mostrado que los algoritmos pueden ser precisos. Pero también deben ser justos. Muchos modelos reproducen —e incluso amplifican— los sesgos existentes en los datos con los que fueron entrenados, porque esos datos reflejan decisiones humanas pasadas: a quién se detuvo, a quién se procesó, a quién se vigiló más intensamente. Frente a este desafío, los economistas proponen varias estrategias: construir algoritmos transparentes y auditables; evaluar su desempeño no solo por su precisión sino también por su equidad; y, sobre todo, establecer controles democráticos (oversight) sobre su uso. Como han advertido autores como Jon Kleinberg, no hay soluciones puramente técnicas a este problema: cada decisión algorítmica implica juicios normativos sobre qué errores estamos dispuestos a tolerar y a quién estamos dispuestos a sacrificar en nombre de mejorías en seguridad.

La expansión del uso de algoritmos en la seguridad ciudadana nos obliga a enfrentar dilemas normativos fundamentales: ¿qué estamos tratando de optimizar —y a costa de qué—? Cualquier discusión seria sobre la equidad algorítmica también debe preguntarse quién construye y quién controla estos sistemas. En varios casos, los algoritmos operan bajo una lógica utilitarista, priorizando los intereses de la mayoría por encima de los derechos de las minorías. Esta perspectiva prioriza los resultados agregados —menos crímenes, menos víctimas— pero suele ignorar cómo se distribuyen esos beneficios y cargas. Más concretamente, si una herramienta de predicción reduce el crimen en general, pero concentra la vigilancia en unos pocos barrios marginados, incrementando los hechos de abusos policiales ahí, ¿debemos desplegarla?

El filósofo John Rawls sostenía que las instituciones deben juzgarse no solo por este tipo de resultados, sino por cómo afectan a los más desfavorecidos. Si un algoritmo reproduce jerarquías raciales o socioeconómicas existentes —aunque sea de forma no intencional— viola el principio liberal de equidad y el valor moral igual de todas las personas, según Rawls. No basta con que un algoritmo sea “preciso en promedio”, también debe ser justo en su trato hacia los más vulnerables. Aunque suena un poco abstracto, estas no son preocupaciones etéreas. Son decisiones políticas, codificadas en líneas de código, sobre qué errores estamos dispuestos a tolerar y cuyas vidas estamos dispuestos a poner en riesgo y priorizar.

Con frecuencia estas decisiones no las están tomando autoridades electas democráticamente, sino empresas privadas. Por esta razón, el creciente rol de grandes empresas tecnológicas en la administración de funciones públicas plantea el problema de la rendición de cuentas. Muchas de las herramientas que están moldeando la seguridad pública a nivel global—desde el reconocimiento facial hasta los sistemas de puntuación de riesgo— son desarrolladas y operadas por firmas privadas. Estas compañías no están sujetas a las mismas obligaciones que el Estado. Sus algoritmos suelen estar protegidos como secretos industriales, sus contratos no siempre son públicos, y sus modelos rara vez son sometidos a auditorías independientes y consultados por la ciudadanía. Existe un riesgo real de que varias dimensiones de la seguridad pública terminen definidas por sistemas opacos que socavan los principios de equidad y justicia.

Esto no es un llamado a prohibir el uso estatal de algoritmos. De hecho, la magnitud de los desafíos de seguridad en América Latina exige que exploremos múltiples herramientas para reducir el crimen y la violencia. No estoy en contra de su uso. En mis clases sobre el crimen y la seguridad ciudadana en la Universidad de los Andes, planteo intervenciones como las bases de datos ADN. Los algoritmos para predecir la reincidencia criminal y el uso de cámaras en espacios públicos son herramientas interesantes en países como Colombia. Pero las herramientas y su utilización deben ser compatibles con nuestros valores. Debemos tomarnos en serio el debate sobre cómo gobernar su uso, tanto en los tribunales como en las calles. Eso implica establecer reglas claras de transparencia, financiamiento para evaluaciones de impacto (que permitirían monitoreo de efectos adversos) y supervisión por parte de instituciones independientes. Por encima de todo, requiere una conversación democrática sobre qué queremos que estas tecnologías hagan —y qué no podemos permitir que hagan.

Insto a las y los candidatos a la presidencia de Colombia a que enfrenten estos temas de forma directa y responsable. Los algoritmos pueden ayudar a mitigar unas fuentes escondidas de la discriminación en la provisión de la justicia y la seguridad. Pero, si se implementan sin controles adecuados, también pueden reproducir desigualdades históricas o generar nuevas formas de injusticia.