Black Mirror: un algoritmo le dijo a la policía que ella estaba a salvo, luego su esposo la mató
(Por Adam Satariano y Roser Toll Pifarré. Fotografías por Ana María Arévalo Gosen, New York Times. Adam Satariano y Roser Toll Pifarre entrevistaron a más de 50 víctimas, familias, policías, funcionarios gubernamentales y otros expertos sobre el programa de violencia de género de España).
En un pequeño apartamento ubicado en las afueras de Madrid, el 11 de enero de 2022, una discusión sobre las tareas del hogar se tornó violenta cuando el marido de Lobna Hemid rompió una zapatera de madera y se valió de uno de los trozos para golpearla. Los vecinos escucharon los gritos de ella. Sus cuatro hijos, de entre 6 y 12 años, también estaban en casa.
El esposo de Hemid durante 14 años, Bouthaer el Banaisati, la golpeaba y pateaba regularmente, según le contaría ella más tarde a la policía. También la llamaba “hija de puta”, “mierda” y “asquerosa”, de acuerdo con el informe policial.
Antes de que Hemid abandonara la estación esa noche, la policía tenía que determinar si estaba en peligro de volver a ser atacada y necesitaba apoyo. Un oficial de policía contestó 35 preguntas cuyas respuestas eran sí o no, tales como: ¿Se utilizó un arma? ¿Había problemas económicos? ¿El agresor ha mostrado conductas controladoras? Las respuestas alimentaron un algoritmo llamado VioGén que ayudaría a generar una respuesta.
La policía aceptó la recomendación del programa informático y Hemid regresó a casa sin más protección. El Banaisati, que pasó la noche detenido, salió libre al día siguiente. Siete semanas después, la apuñaló mortalmente varias veces en el pecho y el abdomen antes de suicidarse. Ella tenía 32 años.
España se ha vuelto dependiente de un algoritmo para combatir la violencia de género. El software está tan entrelazado con los cuerpos policiales que es difícil distinguir dónde terminan sus recomendaciones y dónde empieza la toma de decisiones humana. En el mejor de los casos, el sistema ha ayudado a la policía a proteger a mujeres vulnerables y en general, ha reducido la cifra de maltrato repetido en los casos de violencia doméstica. Pero el empleo de VioGén también ha resultado en víctimas que volvieron a ser atacadas al calcularse erróneamente su puntuación de riesgo, en ocasiones con consecuencias mortales.
Actualmente en España hay 92.000 casos de víctimas de violencia de género que han sido evaluados por VioGén, la mayoría de los cuales —el 83 por ciento— se han clasificado como con poco riesgo de volver a ser agredidas. Sin embargo, alrededor del 8 por ciento de las mujeres que el algoritmo determinó que no estaban en riesgo aparente, y el 14 por ciento de las que fueron consideradas como de bajo riesgo han denunciado que volvieron a sufrir maltrato, según el Ministerio del Interior de España, que supervisa el sistema.
Al menos 247 mujeres han sido asesinadas por su pareja o expareja desde 2007 luego de que VioGén las evaluara, según cifras gubernamentales. Si bien es cierto que la cifra es una fracción minúscula de los casos de violencia de género, es indicativa de los fallos del algoritmo. The New York Times averiguó que en una revisión oficial de 98 de esos feminicidios, 55 de las mujeres asesinadas habían recibido de VioGén la clasificación de riesgo de abuso repetido no apreciado o bajo .
Los agentes de policía están facultados para aceptar o aumentar las calificaciones de VioGén en función de las pruebas, pero aceptan las puntuaciones de riesgo alrededor del 95 por ciento de las veces, según las autoridades. Los jueces también pueden valerse de los resultados del algoritmo cuando analizan solicitudes de órdenes de restricción y otras medidas de protección.
“Las mujeres quedan al margen”, dijo Susana Pavlou, directora del Instituto Mediterráneo de Estudios de Género, coautora de un informe de la Unión Europea sobre VioGén y otras iniciativas policiales para combatir la violencia contra las mujeres. El algoritmo “de cierta manera exime a la policía de toda responsabilidad de evaluar la situación y lo que la víctima pueda necesitar”.
España es un ejemplo de cómo los gobiernos están recurriendo a algoritmos para tomar decisiones sociales, una tendencia mundial que se espera que crezca con el auge de la inteligencia artificial. En Estados Unidos, los algoritmos ayudan a determinar las penas de prisión, establecer patrullajes policiales e identificar a los niños en riesgo de sufrir abusos. En Holanda y el Reino Unido, las autoridades han experimentado con algoritmos para predecir quién puede convertirse en delincuente e identificar a las personas que pueden estar cometiendo fraude a la seguridad social.
Pocos programas tienen consecuencias de vida o muerte como sucede con VioGén. Sin embargo, las víctimas entrevistadas por el Times rara vez estaban al tanto del papel que el algoritmo había desempeñado en sus casos. El gobierno tampoco ha publicado datos exhaustivos sobre la eficacia del sistema y se ha negado a poner el algoritmo a disposición de auditorías externas.
VioGén se creó como una herramienta imparcial que ayudara a la policía con recursos limitados a identificar y proteger a las mujeres con mayor riesgo de ser agredidas nuevamente. El objetivo de la tecnología era aumentar la eficacia ayudando a los cuerpos policiales a priorizar los casos más urgentes, centrándose menos en los que el algoritmo considera de menor riesgo. Las víctimas clasificadas como de mayor riesgo reciben más protección, lo que incluye patrullajes periódicos por su domicilio, acceso a un centro de acogida y vigilancia policial de los movimientos de su agresor. Quienes obtienen puntuaciones más bajas reciben menos apoyo.
En un comunicado, el Ministerio del Interior defendió a VioGén y dijo que en el gobierno eran “los primeros en hacer autocrítica” cuando ocurren errores. Indicó que los feminicidios eran tan infrecuentes que eran difíciles de prever con precisión, sin embargo añadió que era un “hecho incontestable” que VioGén ha ayudado a reducir la violencia machista contra las mujeres.
Desde 2007, alrededor del 0,03 por ciento de las 814.000 víctimas que presentaron una denuncia de violencia de género en España han sido asesinadas tras ser evaluadas por VioGén, según las autoridades. Durante ese tiempo, las agresiones repetidas en todos los casos de violencia de género se han reducido a aproximadamente del 40 al 15 por ciento, según cifras gubernamentales.
“Si no fuese por esto, tendríamos más homicidios de violencia de género de los que tenemos”, dijo Juan José López Ossorio, un psicólogo que colaboró con la creación de VioGén y trabaja para el Ministerio del Interior.
Sin embargo, las víctimas y sus familiares están lidiando con las consecuencias de los casos en los que VioGén se equivoca.
“La tecnología está bien, pero hay veces que no, y ahí eso está fatal”, dijo Jesús Melguizo, cuñado de Hemid, que es tutor de dos de sus hijos. “El ordenador no tiene corazón”.
‘Es eficaz pero no perfecto’
VioGén empezó con una pregunta: ¿es posible que la policía pueda anticipar una agresión antes de que se produzca?
Después de que España aprobó en 2004 una ley contra la violencia de género, el gobierno reunió a expertos en estadística, psicología y otros campos para encontrar una respuesta. Su objetivo era crear un modelo estadístico para identificar a las mujeres con mayor riesgo de sufrir abusos y diseñar una solución estandarizada para protegerlas.
“Sería una nueva guía para la evaluación del riesgo en la violencia de género”, dijo Antonio Pueyo, profesor de psicología en la Universidad de Barcelona que luego se unió a la iniciativa.
El equipo adoptó un enfoque similar al que utilizan las compañías de seguros y los bancos para predecir la probabilidad de sucesos futuros, como los incendios de viviendas o las fluctuaciones monetarias. Estudiaron las estadísticas nacionales sobre delincuencia, los registros policiales y el trabajo de investigadores británicos y canadienses para encontrar indicadores que parecen estar correlacionados con la violencia de género. El abuso de sustancias, la pérdida de empleo y la incertidumbre económica ocupaban los primeros puestos de la lista.
A continuación idearon un cuestionario para las víctimas, de modo que sus respuestas pudieran compararse con los datos históricos. La policía rellenaba las respuestas después de entrevistar a la víctima, revisar las pruebas documentales, hablar con los testigos y estudiar otra información procedente de organismos gubernamentales. Las respuestas a determinadas preguntas tenían más peso que otras, como si un maltratador mostraba tendencias suicidas o daba muestras de celos.
El sistema le daba una puntuación a cada víctima: riesgo no apreciado, riesgo bajo, riesgo medio, riesgo alto o riesgo extremo. Una puntuación más alta daría pie a patrullajes policiales y el seguimiento de los movimientos del agresor. En casos extremos, la policía asignaría vigilancia las 24 horas del día. Las personas con una puntuación de riesgo baja recibirían menos recursos, sobre todo llamadas de seguimiento.
Los algoritmos predictivos para abordar la violencia doméstica se han utilizado en algunas partes del Reino Unido, Canadá, Alemania y Estados Unidos, pero no a la escala nacional implementada por las autoridades españolas. El Ministerio del Interior introdujo VioGén en todas partes menos en la región de Cataluña y el País Vasco.
Al principio, las fuerzas del orden recibieron el algoritmo con escepticismo, según explicaron al Times funcionarios de la policía y del gobierno, pero pronto se convirtió en parte de la actividad policial cotidiana.
Antes de VioGén, las investigaciones “se basaban en la experiencia del policía”, dijo Pueyo, quien sigue afiliado al programa. “Ahora esto está organizado y guiado por VioGén”.
VioGén es una fuente de información imparcial, afirmó. Si una mujer agredida a altas horas de la noche fue atendida por un joven policía con poca experiencia, VioGén podría ayudar a detectar el riesgo de violencia futura.
“Es más eficiente”, dijo Pueyo.
A lo largo de los años, VioGén se ha ido perfeccionando y actualizando, incluso con métricas que se cree que predicen mejor los homicidios. También se ha exigido a la policía que realice una evaluación de riesgos en los 90 días siguientes a una agresión.
Pero la fe de España en el sistema ha sorprendido a algunos expertos. Juanjo Medina, investigador principal de la Universidad de Sevilla que ha estudiado VioGén, dijo que la eficacia del sistema sigue sin estar clara.
“No somos buenos pronosticando el tiempo, y mucho menos el comportamiento humano”, dijo.
Francisco Javier Curto, suboficial en la comandancia de la Guardia Civil en Sevilla, dijo que VioGén ayuda a sus equipos a priorizar, pero requiere una estrecha supervisión. Cada día llegan unos 20 nuevos casos de violencia de género, cada uno de los cuales requiere una investigación. Ofrecer protección policial a todas las víctimas sería imposible teniendo en cuenta el tamaño del personal y los presupuestos.
“El sistema es eficaz pero no es perfecto”, dijo, y añadió que VioGén es “el mejor sistema que existe en el mundo ahora mismo”.
José Iniesta, guardia civil de Alicante, una ciudad portuaria del sureste del país, afirma que no hay suficientes agentes formados para hacer frente al creciente número de casos. Iniesta, líder en el sindicato Asociación Unificada de Guardias Civiles, que representa a la policía en las zonas rurales, dijo que fuera de las grandes ciudades, la policía a menudo debe elegir entre abordar la violencia contra las mujeres u otros delitos.
El Sindicato Unificado de Policía, que representa a los agentes policiales a nivel nacional, afirmó a través de un comunicado que ni siquiera la tecnología más eficaz puede compensar la falta de expertos formados. En algunos lugares, a un oficial de policía se le asigna trabajar con más de 100 víctimas, dijo.
“En muchas provincias los oficiales están sobrepasados”, decía el sindicato en el comunicado.
Cuando se repiten los ataques
Por toda España pueden encontrarse mujeres que fueron asesinadas luego de ser evaluadas por VioGén.
Una de ellas fue Stefany González Escarraman, una joven de 26 años que vivía cerca de Sevilla. En 2016 acudió a la policía luego de que su esposo la golpeó en la cara y la ahorcó. Le lanzó objetos, entre ellos un cucharón de cocina que impactó contra su hijo de 3 años. Después de que la policía interrogó a González Escarraman durante unas cinco horas, VioGén determinó que no había riesgo percibido de que fuera a sufrir maltrato otra vez.
Al día siguiente, González Escarraman, que tenía un ojo morado e hinchado, acudió al tribunal en busca de una orden de alejamiento en contra de su marido. Los jueces pueden fungir como un contrapeso al sistema VioGén, y tienen la capacidad de intervenir en casos y brindar medidas de protección. En el caso de González Escarraman, la jueza rechazó la orden de restricción, citando la puntuación de riesgo de VioGén y la falta de antecedentes penales de su esposo.
Alrededor de un mes después, a González Escarraman la apuñaló su esposo varias veces en el corazón frente a sus hijos. En 2020, su familia ganó una causa contra el Estado por no haber valorado de forma adecuada el nivel de riesgo y brindarle protección suficiente.
“Si se le hubiese brindado la ayuda —o lo que sea— tal vez ella habría estado viva”, dijo Williams Escarraman, su hermano.
En 2021, Eva Jaular, que vivía en Liaño, en el norte de España, murió a manos de su expareja luego de que VioGén determinara su riesgo como bajo. El hombre también mató a la hija de ambos, de 11 meses. Seis semanas antes había clavado un cuchillo en el cojín de un sillón junto a donde Jaular estaba sentada y dijo “mira qué bien pincha”, según una denuncia policial.
Desde 2007, 247 de las 990 mujeres asesinadas en España por una pareja actual o expareja estaban dentro del sistema VioGén, según el Ministerio del Interior. Las demás víctimas no habían denunciado previamente a la policía, por lo que no estaban en el sistema. El ministerio declinó dar a conocer la calificación de riesgo de las 247 que fueron asesinadas.
The New York Times analizó informes de un observatorio jurídico español, publicados casi cada año desde 2010 hasta 2022, en los que se incluía información de los niveles de riesgo de 98 mujeres que luego serían asesinadas. Cincuenta y cinco de ellas habían sido clasificadas como de riesgo no apreciado o en bajo riesgo.
El Ministerio del Interior dijo a través de un comunicado que analizar los niveles de riesgo de las víctimas de feminicidio no brinda una imagen precisa de la efectividad de VioGén debido a que algunos asesinatos sucedían más de un año después de la primera valoración, mientras que otros fueron cometidos por otra pareja.
No está claro el motivo por el cual el algoritmo no clasifica correctamente a algunas mujeres, pero una posible razón sería la mala calidad de información que se ingresa en el sistema. VioGén resulta ideal para casos en los que una mujer, momentos después de ser atacada, es capaz de brindar información completa a un oficial experimentado de policía que tiene tiempo de investigar a fondo el incidente.
Eso no siempre sucede. El temor, la vergüenza, la dependencia económica, el estatus migratorio y otros factores pueden provocar que una víctima no comparta toda la información. Los policías a menudo están justos de tiempo y puede que no investiguen a conciencia.
“Si ya metemos una información errónea al sistema, ¿cómo podemos pretender que el sistema nos dé un resultado bueno”, dijo Elisabeth, una víctima que ahora trabaja como abogada en materia de violencia de género. Habló con el Times con la condición de que no se usara su nombre completo por temor a que su expareja tomase represalias.
Luz, una mujer de un pueblo del sur de España, dijo que en repetidas ocasiones fue calificada como de riesgo bajo tras las agresiones de su pareja porque tenía miedo y vergüenza de proporcionar información completa a los policías, a algunos de los cuales conocía personalmente. Solo consiguió que le aumentaran la puntuación de riesgo a extremo después de trabajar con un abogado especializado en casos de violencia de género, lo que le brindó protección policial las 24 horas del día.
“Las mujeres callamos muchísimas cosas. No porque queramos mentir, sino por miedo”, dijo Luz, quien habló con la condición de que no se usara su nombre completo por temor a su atacante, que fue puesto en prisión. “VioGén estaría bien con personas cualificadas y teniendo las herramientas suficientes para poder llevarlo a cabo”.
Los grupos de defensa de víctimas dijeron que los psicólogos y otros especialistas con formación son los que deberían llevar a cabo los cuestionarios, en lugar de la policía. Algunos han instado al gobierno a que requiera que se permita que las víctimas estén acompañadas por una persona de su confianza a fin de asegurarse de que se brinde información completa a las autoridades, algo que no se permite en todas partes.
“No es fácil denunciar a una persona que has querido”, dijo María, una víctima de Granada, en el sur de España, a quien se etiquetó como de riesgo medio luego de que su pareja la atacó con una mancuerna. Pidió que no se publicara su nombre completo porque tiene miedo de que él tome represalias en su contra.
Ujué Agudo, una investigadora española que estudia la influencia de la inteligencia artificial en las decisiones humanas, dijo que la tecnología tiene un papel en la solución de problemas sociales. Pero podría reducir la responsabilidad humana a simplemente aprobar el trabajo de la máquina, en lugar de motivar a que lleven a cabo las labores necesarias.
“El humano nunca tiene las de ganar. Si el sistema acierta es un éxito del sistema. Si el sistema falla, es un error del humano que no está supervisando adecuadamente”, dijo Agudo, codirectora de Bikolabs, un grupo de la sociedad civil. Dijo que un mejor enfoque sería que el humano “diga cuál es su decisión” antes “de ver lo que opina la inteligencia artificial”.
Las autoridades españolas analizan si incorporan IA a VioGén a fin de que pueda sacar datos de distintas fuentes y aprender más por sí mismo. Ossorio, uno de los creadores de VioGén que trabaja para el Ministerio del Interior, dijo que la herramienta puede tener aplicación en otras áreas, como el acoso laboral y los crímenes de odio.
Los sistemas nunca serán perfectos, dijo, pero tampoco lo es el juicio humano. “Hagamos lo que hagamos, siempre fallamos”, dijo. “Es un problema irresoluble”.
Este mes, el gobierno español convocó a una reunión de emergencia después de que tres mujeres fueron asesinadas por sus exparejas en un lapso de 24 horas. Una de las víctimas, una mujer de 30 años del centro de España, había sido clasificada como de bajo riesgo por VioGén.
En una conferencia de prensa, el ministro del Interior, Fernando Grande-Marlaska, dijo que aún tenía “absoluta confianza” en el sistema.
Hemid, que fue asesinada a las afueras de Madrid en 2022, nació en una zona rural de Marruecos. A los 14 años le presentaron en una boda familiar a El Banaisati, 10 años mayor que ella. Tenía 17 años cuando se casaron. Luego se trasladaron a España para que él pudiera trabajar de manera más estable.
Hemid era extrovertida y sociable, y a menudo se la veía corriendo para llevar a sus hijos al colegio a tiempo, según sus amigos. Aprendió a hablar español y a veces se unía a los niños que jugaban al fútbol en el parque.
“Estaba siempre alegre”, dijo Amelia Franas, cuyos hijos iban a la misma escuela que los de Hemid, y era amiga de ella.
Pocos sabían que el maltrato era una constante en el matrimonio de Hemid. Hablaba poco de su vida familiar, según dijeron sus amigos, y nunca llamó a la policía ni denunció a El Banaisati antes del incidente de enero de 2022.
VioGén está pensado para identificar señales de peligro de los que los humanos podrían no estar al tanto, pero en el caso de Hemid, parece que la policía pasó por alto algunas pistas. Sus vecinos le dijeron al Times que no fueron entrevistados, ni tampoco los administradores de la escuela de sus hijos, que comentaron haber advertido algunas señales problemáticas.
Los familiares dijeron que El Banaisati padecía un tipo de cáncer potencialmente mortal que hacía que se comportara de manera errática. Muchos culparon a la discriminación subyacente en el sistema penal español, que obvia la violencia contra las mujeres inmigrantes, especialmente las musulmanas.
La policía no ha hecho pública una copia de la evaluación que originó la puntuación de bajo riesgo que VioGén hizo sobre el caso de Hemid. Una copia de otro informe policial compartido con el Times señalaba que Hemid estaba cansada durante el interrogatorio y quería terminar la entrevista para irse a casa.
Pocos días después de la agresión de 2022, Hemid obtuvo una orden de alejamiento de su marido. Pero El Banaisati ignoró en gran medida la orden, según dijeron parientes y amigos. Se mudó a un apartamento a menos de 500 metros del lugar donde vivía Hemid y siguió amenazándola.
Melguizo, el cuñado de ella, dijo que pidió ayuda al abogado de oficio asignado a Hemid, pero le dijeron que debido a que su puntuación de riesgo era baja, no podían pedir que se a mande protección “a la puerta de tu cuñada”.
El día después de que fue apuñalada, Hemid tenía programada una cita en el juzgado para presentar oficialmente la demanda de divorcio.
