El escritor Matt Burgess, plantea la cuestión en su nuevo libro Artificial Intelligence, inspirado por la serie WIRED, en el que sopesa los pros y los contras de las técnicas de vigilancia, los archivos datos personales y los sistemas de reconocimiento facial. Entre 2015 y 2020, las personas que solicitaron visados para ingresar al Reino Unido, fuera para trabajar, estudiar o visitar a sus seres queridos rellenaron los formularios de la manera habitual, y luego esos datos se entregaron a un algoritmo para evaluarlos. Se clasificaron de tres formas: rojo, ámbar o verde. De los evaluados como verdes, el 96,3 por ciento fueron aprobados. Los marcados en rojo, la categoría más problemática no fueron rechazados automáticamente, pero tuvieron más controles, y se contrató a personal superior para verificar los datos y tomar una decisión final.
Inteligencia artificial y decisiones
Este proceso, parcialmente automatizado, administrado por el Ministerio del Interior, finalmente aprobó el 48 por ciento de las solicitudes rojas. Quienes lo utilizaban confiaban en sus decisiones. Pero había un problema. Aunque la intención detrás del sistema era loable, hacer que las solicitudes de visado fueran más rápidas, más eficientes y menos burocráticas, la tecnología subyacente, conocida como la herramienta de transmisión, tenía fallos.
Estaba plagado de problemas de datos, transparencia y procesos que dieron lugar a decisiones injustas. En particular, se juzgó a las personas de alto riesgo basándose en su país de origen más que en criterios personales cuidadosamente considerados. «Mantuvieron en esta lista a una serie de países no deseados, a los que, simplemente al hacer una solicitud proveniente de un país en particular, esa persona tendría más probabilidades de ser clasificada en ámbar o rojo. Y se negaron a darnos el nombre de los países« explica Cori Crider. el fundador del grupo legal Foxglove.
Un desafío al algoritmo
En la primavera de 2020, Foxglove desafió el proceso algorítmico, argumentando que violaba las leyes de igualdad y protección de datos. Días antes de que el caso llegara a los tribunales, el gobierno del Reino Unido descartó la herramienta, y admitió que necesitaba analizar «cuestiones relacionadas con los prejuicios inconscientes y el uso de la nacionalidad en la herramienta de transmisión».
Sin embargo, rechazó las sugerencias de que el sistema estaba infringiendo alguna ley. Meses después, en medio de la pandemia, un algoritmo similar intentó predecir las calificaciones de los exámenes A Level de los estudiantes de inglés. También utilizó datos históricos para tomar decisiones sobre el futuro de las personas. Este también tenía fallos. Se produjo una protesta generalizada, con los estudiantes saliendo a las calles y coreando «A la mierda el algoritmo».
Los datos incorrectos introducidos en un sistema dan como resultado análisis incorrectos.
Ninguno de los sistemas involucró algoritmos particularmente complejos, y ninguno utilizó inteligencia artificial. Pero lo que ambos demuestran es los riesgos intrínsecos de los datos porque independientemente de lo que estemos tentados a asumir, rara vez es neutral. Dado que en última instancia está creado por humanos, carga con nuestros prejuicios. El sistema de visados se basó en datos que hicieron suposiciones sesgadas sobre los países de origen de las personas. El sistema de exámenes predijo los resultados basándose en parte, en el historial anterior de las escuelas de alumnos individuales. Ambas son advertencias para el futuro.
Prejuicios de la Inteligencia artificial
Dado que los datos se encuentran en el corazón de la IA, se deduce que la IA no está libre de prejuicios. Los datos incorrectos introducidos en un sistema dan como resultado análisis incorrectos. Hay tres formas comunes de sesgo, aunque la investigación ha identificado más de 20 tipos de sesgo, además de otros tipos de discriminación e injusticia que pueden estar presentes en las configuraciones de IA.
Con sesgo latente, un algoritmo correlaciona sus resultados con características en los datos como género, raza, ingresos y más, perpetuando potencialmente formas históricas de sesgo: por ejemplo, un sistema puede ‘aprender’ que los médicos son hombres debido a los datos históricos que ha sido capacitado en programas de médicos como hombres. (Amazon tuvo que descartar una herramienta de contratación de inteligencia artificial que estaba usando, que se entrenó con diez años de datos de CV, ya que el sistema supuso que, dado que históricamente los hombres habían sido contratados con más frecuencia que las mujeres, debían ser mejores).
Con el sesgo de selección, los resultados están distorsionados por un conjunto de datos que sobrerrepresentan a un grupo de personas. (Una IA creada para juzgar un concurso de belleza seleccionó principalmente a los ganadores blancos, ya que el conjunto de datos sobre el que se entrenó contenía en su mayoría imágenes de personas blancas).
Con el sesgo de interacción, un sistema aprende de los prejuicios que las personas muestran cuando interactúan con él. (El chatbot de Microsoft, Tay, que se lanzó en Twitter en 2016, se volvió más coherente en sus primeras veinticuatro horas de uso, pero también repitió todo el lenguaje sexista y racista que la gente le había enviado).
Riesgos de la Inteligencia artificial
Todos estos sesgos muestran los riesgos de utilizar datos para predecir resultados futuros. Y dentro de la IA el problema se ha agudizado. Tomemos la aplicación de la ley, por ejemplo. En los EE. UU en particular, la policía ha llegado a utilizar sistemas predictivos cuando buscan evaluar la probabilidad de que alguien reincida, o si se le debe conceder una fianza, o cuando es probable que ocurran picos en los delitos. El problema es que tales sistemas inevitablemente se dirigen a individuos y comunidades que históricamente han sido el foco de atención policial particular. «Si está utilizando datos problemáticos, tendrá una vigilancia policial problemática«, explica Renée Cummings, investigadora especializada en inteligencia artificial en el sector de la justicia penal y sus efectos discriminatorios.
En los Estados Unidos, las personas negras tienen más del doble de probabilidades de ser arrestadas que las personas blancas. Es más probable que la policía los detenga sin causa, y los hombres negros tienen 2,5 veces más probabilidades de ser asesinados por la policía que los hombres blancos. «Comienza desde un lugar de prejuicio», dice Cummings. «La IA realmente ha amplificado los sesgos y la discriminación que ha sido parte del sistema».
Los hispanos y la Inteligencia artificial
Una investigación de 2016 de ProPublica reveló cómo el software predictivo, llamado COMPAS, estaba predispuesto contra las personas de raza negra. Un estudio adicional de la herramienta, que puede determinar el riesgo, encontró que «no está bien calibrada para los hispanos». Se dijo que predecía en exceso las puntuaciones de riesgo para los hispanos y estaba marcada por la incapacidad de realizar predicciones precisas. La IA también puede perpetuar los delitos menores de la policía. Un estudio realizado por investigadores del AI Now Institute de la Universidad de Nueva York de trece jurisdicciones de EE. UU. Donde han estado en funcionamiento herramientas policiales predictivas concluyó que « las prácticas policiales ilegales pueden distorsionar significativamente los datos que se recopilan y los riesgos de que los datos sucios se sigan utilizando para la ley ».
Incluso cuando los datos raciales se eliminan de los sistemas de inteligencia artificial de vigilancia predictiva (un requisito frecuente de las leyes de igualdad), los problemas persisten. Rashida Richardson, autora del artículo AI Now, que ahora es investigadora visitante en la Facultad de Derecho de Rutgers, señala que existen numerosas formas de datos que pueden servir como sustitutos de la raza. La ubicación es una. Si vive en un área que ya está fuertemente vigilada debido a su composición racial, se deduce que habrá más informes policiales en el archivo y, por lo tanto, una gran probabilidad de que AI considere que su área está plagada de delitos.
Otros perfiles de datos que pueden provocar distorsiones incluyen la edad y los vínculos sociales. Una herramienta de vigilancia policial predictiva utilizada en los Países Bajos emplea datos demográficos como el número de hogares monoparentales, el número de personas que reciben beneficios sociales y el número de inmigrantes no occidentales como factores para determinar la probabilidad de que ocurra un delito en un área en particular del país. El problema con todo esto es que, si bien los datos recopilados a veces pueden contener indicadores útiles, no son neutralmente predictivos. «Es más probable que los datos de la policía reflejen las prácticas, políticas y prioridades de un departamento de policía y un entorno policial que necesariamente las tendencias delictivas», explica Richardson.
Humanos frente a Inteligencia artificial
Richardson cuestiona si las tecnologías de vigilancia policial predictiva son un reflejo de lo que sucede en las comunidades: ‘La realidad es que, si se basa principalmente en datos policiales, que a menudo no se recopilan para su uso posterior en algún tipo de análisis de datos, entonces siempre habrá algún tipo de defecto permanente en él que hace que sea difícil de usar para cualquier propósito en la vigilancia”. Actualmente hay poca evidencia para demostrar que las herramientas de evaluación de riesgos predictivas o de inteligencia artificial realmente funcionen. Los estudios que muestran que las herramientas de decisión algorítmica pueden hacer mejores predicciones que los humanos son pocos en número, y debido a que las fuerzas policiales generalmente son reservadas sobre el uso de tecnologías de inteligencia artificial, sus datos no se han analizado y verificado de forma independiente.
Un algoritmo utilizado por aseguradoras y hospitales para administrar la atención de alrededor de 200 millones de personas al año otorgaba puntuaciones de riesgo más bajas a las personas que se identificaban a sí mismas como negras
Sin embargo, una revisión del Departamento de Policía de Los Ángeles de un sistema llamado PredPol, que se usa en varios lugares en los EE. UU. dijo que era «difícil sacar conclusiones sobre la efectividad del sistema para reducir los vehículos u otros delitos«. En junio de 2020, más de 1.400 matemáticos firmaron una carta abierta declarando que no creían deberían colaborar con la policía en estos sistemas. También exigieron que se introdujeran auditorías para los sistemas que ya están en funcionamiento. «Es simplemente demasiado fácil crear un barniz científico para el racismo«, escribieron los investigadores. Cori Crider, quien dirigió los desafíos legales a los sistemas estadísticos defectuosos en el Reino Unido, agrega que este tipo de tecnologías a menudo parecen usarse contra grupos que pueden no tener los medios para desafiarlas. «Parece que muchos de los sistemas están dirigidos a la gestión y gestión masiva de personas que tienen mucho menos poder, capital social, dinero, todo lo demás«, dice. «Creo que hay una tendencia realmente preocupante, en el sentido de que la gestión algorítmica es una forma de contener y vigilar a los pobres de color«.
Prejuicios en el sector de la salud
No se trata solo de vigilar dónde puede asomar la cabeza el sesgo de la IA. Los asuntos de vivienda, empleo y finanzas han sufrido problemas de prejuicios. El cuidado de la salud está emergiendo como el nuevo sector que sufre estos problemas. En los EE. UU. por ejemplo, investigadores de la Universidad de California, Berkeley, han descubierto que un algoritmo utilizado por aseguradoras y hospitales para administrar la atención de alrededor de 200 millones de personas al año otorgaba puntuaciones de riesgo más bajas a las personas que se identificaban a sí mismas como negras que a las gente blanca que estaba igualmente enferma. Esto se debió a que determinaba los puntajes de salud de las personas en parte de acuerdo con cuánto habían gastado en atención médica en un año, asumiendo que las personas más enfermas gastan más que las sanas.
Sin embargo, los datos también mostraron que había 1.800 dólares menos por año de atención brindada a pacientes negros que a pacientes blancos con el mismo número de problemas de salud crónicos. «Se gasta menos dinero en pacientes negros que tienen el mismo nivel de necesidad y, por lo tanto, el algoritmo concluye falsamente que los pacientes negros son más saludables que los pacientes blancos igualmente enfermos«, escribieron los autores del estudio. Como resultado, era menos probable que las personas de raza negra fueran derivadas a tratamientos que implicaban una atención más especializada. Si los datos hubieran estado equilibardos, el 46,5 por ciento de los pacientes negros involucrados habrían sido derivados en lugar de serlo solo el 17,7 por ciento, como de hecho ocurrió.
A medida que la IA se vuelve más sofisticada, a los investigadores les preocupa que las conexiones realizadas por los algoritmos se vuelvan más oscuras. Los proxies para ciertos tipos de datos serán más difíciles de identificar y las máquinas pueden establecer vínculos entre ciertos tipos de información que los humanos no asocian o no pueden ver debido a la escala de la información que se procesa. Los primeros signos de esto ya son evidentes.
Facebook y la discriminación
En marzo de 2019, por ejemplo, el Departamento de Vivienda y Desarrollo Urbano de EE. UU. (HUD) acusó a Facebook de discriminación sobre cómo funciona su publicidad dirigida a viviendas. Las leyes de publicidad de EE. UU. prohíben la discriminación contra las personas en razón de su color, raza, origen nacional, sexo, religión, discapacidad y estado familiar y, si bien el sistema de Facebook no fue explícitamente culpable de tal discriminación, ocurrió que los intereses que tenían las personas, y que dejaban un rastro online, les llevó a su exclusión de determinados anuncios.
«Un algoritmo agrupa a las personas no necesariamente en función de su orientación sexual o el color de su piel«, dice Sandra Watcher, profesora asociada e investigadora principal en derecho y ética de la inteligencia artificial en el Oxford Internet Institute. Afirma que los algoritmos agrupan a personas con comportamientos similares. «Estas similitudes podrían ser que todos tienen zapatos verdes, o similitudes podrían ser que comen comida india un martes o que juegan videojuegos». El problema es que tales correlaciones pueden llevar a inferencias totalmente falsas; un algoritmo podría, por ejemplo, concluir que las personas que usan zapatos verdes tienen, o no, una tendencia a pagar sus préstamos a tiempo.
Las leyes de datos y la Inteligencia artificial
Para cualquier humano, tal conclusión sería absurda. Para una IA puede parecer completamente lógico. “Incluso si un banco puede explicar qué datos y variables se han utilizado para tomar una decisión (por ejemplo, registros bancarios, ingresos, código postal), la decisión se basa en inferencias extraídas de estas fuentes; por ejemplo, que el solicitante no es un prestatario fiable”, escribe Watcher. «Esta es una suposición o predicción sobre el comportamiento futuro que no se puede verificar ni refutar en el momento de la toma de decisiones«.
Watcher sostiene que las leyes de protección de datos deben evolucionar para manejar los problemas que surgen cuando las máquinas hacen falsas deducciones sobre nosotros. Las organizaciones que utilizan tales sistemas deben demostrar que las conexiones que están haciendo son razonables: deben decir por qué ciertos datos son relevantes, por qué las inferencias son importantes para la decisión que se está tomando y si el proceso es preciso y fiable. “De lo contrario”, dice Watcher, “más personas sufrirán a manos de las decisiones injustas que emitan la IA”.
Fanfan y Ludiana te mantienen al día de las novedades en entretenimiento, y te ofrecen servicios de comunicación y herramientas estratégicas para gestionarla. Si quieres estar al día de la actualidad de FanFan y enterarte antes que nadie de todo lo que publicamos, síguenos en nuestras redes sociales: Facebook, Twitter, Instagram, Ivoox, Spotify y YouTube.
