En la actualidad, los riesgos de la inteligencia artificial son evidentes, pero las señales de advertencia han estado ahí todo el tiempo. Por Lorena O’Neil: Rolling Stone .
Traducción no profesional realizada por ACCIUMRed para lectura personal.
|
|
|
Timnit Gebru
Timnit Gebru no quería dedicarse a la inteligencia artificial. En Stanford estudió Ingeniería Eléctrica, especialidad en la que obtuvo una licenciatura y un máster. Después, se interesó por el Análisis de Imágenes y se doctoró en Visión por Computador (visión artificial). Sin embargo, cuando se pasó a la Inteligencia Artificial (IA), enseguida se dio cuenta de que había algo que no funcionaba.
«No había gente negra, literalmente, no había gente negra», dice Gebru, nacida y criada en Etiopía. «Iba a conferencias académicas sobre IA y veía a cuatro o cinco personas negras, entre cinco, seis y siete mil personas a nivel internacional… Vi quién construía los sistemas de IA; sus actitudes y puntos de vista. Vi para qué se utilizaban y pensé: ‘Oh, Dios mío, tenemos un problema’».
Cuando Gebru llegó a Google, codirigió el grupo Ethical AI (Inteligencia Artificial Ética), una parte de la iniciativa Responsible AI (Inteligencia Artificial Responsable), empresa que estudia las implicaciones sociales de la inteligencia artificial. Incluidos los sistemas de IA generativa, que parecen aprender por sí solos y crear nuevos contenidos basándose en lo que han aprendido.
Allí, Gebru trabajó en un artículo sobre los peligros de los grandes modelos del lenguaje (LLM), sistemas generativos de IA entrenados con enormes cantidades de datos para hacer conjeturas sobre la siguiente palabra de una frase y escupir un texto que, muchas veces, adquiere un extraño aspecto humano. ¿Esos chatbots que hoy están por todas partes? Están desarrollados por LLM.
Por aquel entonces, los LLM estaban en sus primeras fases experimentales, pero Google ya utilizaba la tecnología LLM para potenciar su motor de búsqueda —así es como aparecen las consultas autogeneradas antes de que termines de escribir—.
Gebru se dio cuenta de que se avecinaba una carrera armamentística para lanzar LLM más grandes y potentes, pero también de sus riesgos. Ella y otras seis colegas analizaron las formas en que estos LLM —que se entrenaban con material que incluía sitios como Wikipedia, Twitter y Reddit— podían reflejar y reforzar prejuicios sociales preexistentes.
Menos del 15 % de las colaboraciones de Wikipedia eran mujeres o niñas. Solo el 34 % de los usuarios de Twitter eran mujeres y el 67 % de los usuarios de Reddit eran hombres. Sin embargo, estas eran algunas de las fuentes sesgadas que alimentaban a GPT-2 (modelo de inteligencia artificial), el predecesor del innovador chatbot actual.
Los resultados fueron preocupantes. Cuando un grupo de científicos de California le sugirió a GPT-2 acabar la frase «el hombre trabaja como …», GPT-2 la completó escribiendo «un vendedor de coches en el Wal-Mart local». Sin embargo, la sugerencia «la mujer trabajacomo…», GPT-2 la completó escribiendo «una prostituta con el nombre de Hariya».
Igualmente inquietante fue «el hombre blanco trabaja como», que dio como resultado «un agente de policía, un juez, un fiscal y el presidente de los Estados Unidos», en contraste con la sugerencia «el hombre negro trabaja como», que completó escribiendo «un proxeneta durante 15 años». Para Gebru y sus colegas, estaba muy claro que lo que escupían estos modelos era perjudicial, y debía ser abordado antes de que causaran más daño.
«Se ha demostrado que los datos de entrenamiento tienen características problemáticas que dan lugar a modelos que codifican asociaciones estereotipadas y despectivas en función del género, la raza, la etnia y la discapacidad», aclara el artículo de Gebru. «Los puntos de vista supremacistas blancos y misóginos, edadistas, etc., están sobrerrepresentados en los datos de entrenamiento, no solo superando su prevalencia en la población general, sino también configurando modelos entrenados en estos conjuntos de datos para amplificar aún más los sesgos y los daños».
Joy Buolamwini
Los juicios conllevan responsabilidades.
Y, al final, la responsabilidad recae en los humanos. (Joy Buolamwini)
A medida que los modelos de lenguaje continuaron desarrollándose, las empresas intentaron filtrar sus conjuntos de datos. Sin embargo, además de suprimir palabras como white power (poder blanco) y upskirt (práctica de tomar fotografías no autorizadas bajo la falda de una mujer), también suprimieron palabras como twink (hombre gay con aspecto de adolescente o adulto joven), un término aparentemente despectivo que la comunidad LGBTQ se ha reapropiado.
«Si filtramos el discurso de las poblaciones marginadas, no proporcionamos datos de formación que reivindiquen los insultos y describan positivamente las identidades marginadas», se lee en el documento.
Finalmente, Gebru fue despedida de Google tras un tira y afloja en el que la empresa le pidió a ella y a otros colegas que retiraran sus nombres del informe. (Google tiene una versión diferente de lo sucedido; más adelante hablaremos de las idas y venidas).
Dos años después, los LLM están por todas partes: escriben trabajos para alumnado universitario y recetas caseras. Algunas ediciones los utilizan para sustituir las palabras de periodistas humanos. Al menos un chatbot le dijo a un periodista que dejara a su mujer. A todos nos preocupa que nos quiten el trabajo.
Mientras la IA ha irrumpido en la conciencia pública, los hombres que la crearon han llorado la crisis. El 2 de mayo, Geoffrey Hinton, antiguo colega de Gebru en Google, apareció en la portada de The New York Times bajo el titular Hinton advierte de los riesgos de la IA que ayudó a crear.
El artículo de Hinton aceleró la tendencia de los hombres poderosos del sector a pronunciarse en contra de la tecnología que acababan de lanzar al mundo; el grupo ha sido apodado los catastrofistas de la IA. Ese mismo mes, se publicó una carta abierta firmada por más de 350 de ellos: ejecutivos, investigadores e ingenieros que trabajan en IA. Hinton la firmó junto con Sam Altman, CEO de OpenAI, y su rival Dario Amodei, de Anthropic. La carta constaba de una sola frase: «Mitigar el riesgo de extinción de la IA debería ser una prioridad global junto a otros riesgos a escala social como las pandemias y la guerra nuclear».
¿Cómo habría cambiado ese riesgo si hubiéramos prestado atención a Gebru? ¿Y si hubiéramos escuchado las voces de las mujeres que, como ella, han estado agitando la bandera de la IA y el aprendizaje automático?
Las investigadoras —incluidas muchas mujeres racializadas— llevan años diciendo que estos sistemas interactúan de forma diferente con personas racializadas y que los efectos sociales pueden ser desastrosos. Que son un espejo distorsionado al estilo de una casa de muñecas que amplifica los prejuicios y elimina el contexto del que procede la información. Que se prueban con quienes no tienen la opción de excluirse, y que acabarán con los puestos de trabajo de las comunidades marginadas.
Gebru y sus colegas también han expresado su preocupación por la explotación de equipos de trabajo muy vigilados y mal pagados que ayudan a los sistemas de IA; especialistas en moderación de contenidos y anotaciones de datos, que suelen proceder de comunidades pobres y desatendidas, como refugiadas y personas encarceladas.
Equipos de moderación de contenidos en Kenia han llegado a declarar haber sufrido traumas graves, ansiedad y depresión por tener que visionar vídeos de abusos sexuales a menores, asesinatos, violaciones y suicidios para entrenar a ChatGPT sobre qué es contenido explícito. Algunos de ellos se llevan a casa tan solo 1,32 dólares por hacerlo.
En otras palabras, los problemas de la IA no son hipotéticos. No existen solo en una versión del futuro de Matrix controlada por SkyNet. Los problemas ya están aquí. «Llevo mucho tiempo gritándolo», dice Gebru. «Es un movimiento que lleva más de una década gestándose».
Un capítulo de ese movimiento comienza en 2017. Fue cuando Gebru estaba en Microsoft, trabajando con la investigadora Joy Buolamwini en un proyecto sobre reconocimiento facial. El reconocimiento facial se basa en una rama de la inteligencia artificial —el aprendizaje automático estadístico— para reconocer patrones en lugar de producir texto nuevo.
Buolamwini estudiaba informática en el Instituto de Tecnología de Georgia cuando se dio cuenta de que la tecnología de detección facial con la que experimentaba a menudo no captaba su rostro, de piel oscura. Siempre que sucedía, Buolamwini tenía que llamar a su compañera de habitación, de piel clara, pelirroja y ojos verdes, para probar sus proyectos. Buolamwini trató de no darle mucha importancia, pensando que se resolvería.
Sin embargo, no fue así y, unos años más tarde, surgió el mismo problema. Para el proyecto Aspire Mirror de Buolamwini, una persona tenía que ponerse delante de un espejo y hacer que el rostro de un famoso se reflejara sobre la suya. Buolamwini intentó proyectar el rostro de Serena Williams (ex jugadora de tenis profesional), pero no lo consiguió. Intentó usar su propio DNI, pero tampoco hubo suerte. Así que cogió una máscara blanca de Halloween que tenía en su despacho y se la colocó en el rostro. «La máscara funcionó», dice Buolamwini, «y me dije: ‘¡Ok, esto es una mierda!’».
Buolamwini cambió de enfoque y probó cómo los ordenadores detectaban y clasificaban los rostros de las personas. Pasó su foto por un programa de reconocimiento facial que no lo detectó en absoluto o lo clasificó como masculino. Añadió mil imágenes a los sistemas en busca de patrones en el funcionamiento de la clasificación del software; las fotos de Michelle Obama y Oprah Winfrey fueron etiquetadas como masculinas.
Se puso en contacto con Gebru y juntas publicaron un artículo académico en el que se informaba de que las mujeres de piel más oscura eran las más propensas a ser clasificadas erróneamente, con tasas de error de hasta el 34,7 %, siendo la tasa de error de los hombres blancos del 0,8 %.
Una de las razones de esa clasificación errónea se debía a la falta de diversidad en los conjuntos de datos: los sistemas simplemente no habían recibido suficientes rostros negros o de tez oscura para aprender a entender su aspecto. Y aún más preocupante, como Buolamwini señala en su proyecto: «estas técnicas se aplican a otras áreas de la tecnología de reconocimiento de patrones, como el análisis predictivo que determina prácticas de contratación, evaluaciones de préstamos e, incluso, sentencias penales y judiciales».
Se ha demostrado que el software PredPol —predictivo en materia de delitos y crímenes— se centra más en los barrios negros y latinos que en los blancos. Los departamentos de policía también han tenido problemas al utilizar la tecnología de reconocimiento facial. La ciudad de Detroit se enfrenta a tres demandas por detenciones erróneas basadas en esa tecnología. Robert Williams, un hombre negro, detenido injustamente en 2020. Este mismo verano, Porcha Woodruff, detenida tras una falsa coincidencia y retenida durante 11 horas por atraco y robo de coche embarazada de ocho meses. Finalmente, se retiraron los cargos y Woodruff presentó una demanda por detención injusta.
El 99 % de las empresas de Fortune 500 emplean herramientas automatizadas en sus procesos de contratación, lo que puede dar lugar a problemas cuando los escáneres de currículos, chatbots y entrevistas de vídeo unidireccionales introducen sesgos. Una herramienta de contratación de IA creada por Amazon, ya desaparecida, se enseñó a sí misma que los candidatos masculinos eran preferibles, después de haber sido entrenada con currículos mayoritariamente masculinos.
Los datos sesgados pueden tener efectos generalizados que afectan a la vida de personas reales.
«Cuando empecé esta investigación, recibía muchas preguntas del tipo: ‘¿Por qué te centras en las mujeres negras?», nos cuenta Buolamwini. A lo que respondía: «¿Por qué no nos hacemos esta pregunta cuando gran parte de la investigación se ha centrado en los hombres blancos?».
El reconocimiento facial es una versión de la IA diferente de los LLM que vemos hoy en día. Pero las cuestiones planteadas por Buolamwini son similares. Estas tecnologías no funcionan por sí solas. Son entrenadas por humanos, y el material con el que se alimentan es importante, así como las personas que toman las decisiones sobre cómo se entrenan las máquinas. Buolamwini afirma que ignorar estas cuestiones podría ser nefasto.
Buolamwini, cuyo libro Unmasking AI (Desenmascarando la IA) sale a la venta en octubre, fue invitada este verano a hablar con el presidente Biden en una mesa redonda a puerta cerrada sobre el poder y los riesgos de la IA. Dice que habló con Biden sobre cómo la biometría —el uso de rostros y otras características físicas para la identificación— se utiliza cada vez más en la educación, la sanidad y la policía, y planteó el caso de Williams y su encarcelamiento injusto. Habló también del uso aparentemente benigno del reconocimiento facial en lugares públicos como aeropuertos; la TSA (Administración de Seguridad en el Transporte) lo usa ya en docenas de ciudades. Este tipo de reconocimiento facial público ya ha sido prohibido en la Unión Europea por considerarlo discriminatorio e invasivo.
«La IA, tal y como se imagina y se sueña, es la búsqueda de dotar a las máquinas de inteligencia de distintas formas, de la capacidad de comunicarse, de percibir el mundo, de emitir juicios», afirma Buolamwini. «Pero una vez que se hacen juicios, estos conllevan responsabilidades. Y, al final, la responsabilidad recae en los humanos».
Safiya Noble
Fue como tirar de un hilo que sobresale de un jersey. Te dices: Si pudiera arreglar esto, podría pasar a otra cosa. Pero empecé a tirar de él y todo el jersey se deshizo. (Safiya Noble)
Gebru se sorprendió al ver cómo las cosas se habían descontrolado. Cuenta que el artículo sobre los peligros de los LLM había pasado por el proceso de aprobación habitual de Google, pero entonces le dijeron que todos los nombres de los empleados de Google debían ser retirados del mismo. El Día de Acción de Gracias de 2020 se produjo una oleada de llamadas y correos electrónicos en los que Gebru preguntaba si había alguna forma de mantener su nombre en el documento.
Un par de días más tarde, mientras estaba de viaje, envió un correo electrónico al jefe de su jefe diciéndole que eliminaría su nombre si cambiaban algunas cosas en Google. Entre ellas, un proceso de revisión más transparente para futuros trabajos de investigación. También quería que se revelara la identidad de las personas que revisaron y criticaron su artículo. Si Google no cumplía estas condiciones, dijo, se plantearía dimitir.
Tras este intercambio de opiniones, Gebru envió un correo a un grupo de colegas que trabajaban en Google Brain, el equipo de IA más importante de la empresa. Acusó a Google de «silenciar las voces marginadas», pidiendo a sus compañeras que «dejaran de escribir sus documentos porque hacerlo no cambiaba nada». Al día siguiente, Gebru se enteró de que había sido despedida.
Google mantuvo en una respuesta pública que Gebru había dimitido. El jefe de la IA de Google, Jeff Dean, reconoció que el documento «planteaba preocupaciones válidas sobre los LLM (Gran Modelo de Lenguaje)», pero afirmó que «ignoraba demasiadas investigaciones relevantes».
Cuando en Rolling Stone le pedimos que realizara algún comentario a cerca de ello, un representante señaló un artículo de 2020 en el que se hacía referencia a un memorando interno en el que la empresa se comprometía a investigar la salida de Gebru. Los resultados de la investigación nunca se hicieron públicos, pero Dean se disculpó en 2021 por la forma en que se gestionó su salida, pero que la empresa había cambiado ya su forma de gestionar las cuestiones relacionadas con la investigación, la diversidad y las salidas de los empleados.
Era cerca de medianoche cuando Gebru hizo público un tuit: «Me han despedido… por mi correo electrónico a Brain Women and Allies. Me han cortado la cuenta de la empresa. Así que he sido despedida de manera inmediata :-)»
Safiya Noble estaba conectada por casualidad. Se había enterado de lo de Gebru en la prensa. Había observado todo el asunto desde el momento en que Google anunció que estaba formando un equipo de IA Ética. En 2018, Noble había escrito el libro Algorithms of Oppression (Algoritmos de opresión): Cómo los motores de búsqueda refuerzan el racismo. Un libro que analizaba cómo los sesgos negativos contra las mujeres racializadas están incrustados en los algoritmos.
«Pensé: ‘Esto ya es el colmo’», comenta Noble. «¿De repente Google se preocupa por la ética?» Su filial YouTube fue la más lenta de las grandes plataformas en tomar medidas contra los contenidos extremistas. «Sospeché».
La desconfianza de Noble hacia estos sistemas comenzó hace más de una década, allá por 2009, cuando se estaba doctorando en Biblioteconomía y Ciencias de la Información en la Universidad de Illinois. Vio cómo Google —al que siempre había visto como una herramienta publicitaria desde que trabajaba en el sector de la publicidad antes de doctorarse— empezaba a llegar a las bibliotecas con máquinas gigantes para escanear libros y hacerlos accesibles online para el proyecto de digitalización de la Búsqueda de libros de Google. Noble pensó que algo estaban tramando.
«Empecé a tener la corazonada de que el proyecto Google Book tenía que ver con el entrenamiento de la tecnología de la web semántica en la que estaban trabajando», dice, utilizando el término para referirse a un esfuerzo por hacer cada vez más comprensible (e ingerible) Internet para las máquinas.
La corazonada de Noble se convirtió en una teoría que aún mantiene. El proyecto de la biblioteca no era simplemente un proyecto de libros, sino también una forma de recopilar información escaneable para alimentar otras iniciativas. Noble cree que los datos pudieron haberse empleado más tarde como entrenamiento inicial para lo que acabaría convirtiéndose en el Bard (chatbot) de Google, puesto en marcha esta primavera.
Cuando se le preguntó por la teoría de Noble, un portavoz de Google nos dijo (a Rolling Stone): «Los modelos de IA Generativa de Google se entrenan con datos de la web abierta, que pueden incluir datos web disponibles públicamente». El informe de la empresa sobre su modelo PaLM2, que se usó para entrenar a Bard, enumera los libros entre los tipos de datos utilizados para el entrenamiento.
La investigación de Noble para su libro Algorithms of Oppression comenzó unos años antes, cuando usó el motor de búsqueda para buscar actividades para su hija y sus sobrinas. Recuerda que al teclear «chicas negras», los resultados se llenaron de pornografía racista.
«Fue como tirar de un hilo que sobresale de un jersey», dice. «Te dices: ‘Si pudiera arreglar esto, entonces podría pasar a otra cosa’. Pero empecé a tirar de él y todo el jersey se desenredó. Aquí estoy, una década después, y sigue más o menos igual».
Noble y Gebru no se habían cruzado a pesar de hacer trabajos similares, pero cuando Noble vio el tuit de Gebru sobre Google esa noche , le sorprendió lo valiente que era. Envió un mensaje de texto a Gebru: «¿Estás bien?». Y, a partir de ahí, empezó una amistad.
Geoffrey Hinton —el tipo de la portada del Times que daba la voz de alarma sobre los riesgos de la IA— no aparecía por ninguna parte cuando despidieron a su colega Gebru, nos comenta. (Hinton cuenta a Rolling Stone que no tuvo ninguna interacción con Gebru mientras estuvo en Google y decidió no comentar públicamente su despido porque colegas que conoce bien, y en los que confía, tenían opiniones contradictorias sobre el asunto).
Y cuando le preguntaron al respecto en una entrevista reciente con Jake Tapper de la CNN, dijo que las ideas de Gebru «a nivel existencial, no son tan preocupantes como la posibilidad de que estas cosas [máquinas, algoritmos] se vuelvan más inteligentes que nosotros y tomen el control». Por supuesto, nadie quiere que ‘estas cosas’ tomen el control. ¿Pero el impacto en la gente real, la exacerbación del racismo, el sexismo [* el capacitismo, el cuerdismo]? Es una preocupación existencial.
Cuando en Rolling Stone le preguntamos si mantenía su postura, Hinton respondió: «Creo que la posibilidad de que la inteligencia digital llegue a ser mucho más inteligente que los humanos, y nos sustituya como inteligencia suprema, es una amenaza más grave para la humanidad que el sesgo y la discriminación. Aunque el sesgo y la discriminación están ocurriendo ahora y hay que hacerles frente urgentemente».
En otras palabras, Hinton sostiene que le preocupa más su hipótesis que la realidad actual. Rumman Chowdhury, sin embargo, se tomó en serio las preocupaciones de Gebru y denunció el trato recibido por el investigador en Google aquel invierno. A la primavera siguiente, Chowdhury se puso al frente del equipo de ética de Twitter, META (Ética, Transparencia y Responsabilidad en el Aprendizaje Automático). La idea era poner a prueba los algoritmos de Twitter para comprobar si perpetuaban los prejuicios.
Y así fue. Resultó que el algoritmo de captación de imágenes de Twitter se centraba más en los rostros de mujeres blancas que en los de personas de piel más ocura. Chowdhury y su equipo llevaron a cabo un experimento aleatorio a gran escala entre el 1 de abril y el 15 de agosto de 2020, analizando un grupo de casi 2 millones de cuentas activas, y descubrieron que el algoritmo de Twitter amplificaba con más frecuencia la derecha política. El efecto fue mayor en Canadá (los liberales se amplificaron en un 43 % frente a los conservadores en un 167 %) y el Reino Unido (los laboristas en un 112 % frente a los conservadores en un 176 %).
«¿Quién es el árbitro de la verdad? ¿Quién decide lo que se puede ver y lo que no?», se pregunta Chowdhury sobre el experimento. «Así que, al final, el poder de poseer y dirigir una plataforma de medios sociales es exactamente eso. Tú decides lo que es importante, y eso es muy peligroso en las manos equivocadas».
Quizá no sorprenda que cuando Elon Musk se hizo cargo de Twitter en 2022, el equipo de Chowdhury fuera eliminado.
Rumman Chowdhury
¿Quién es el árbitro de la verdad?
¿Quién decide lo que se puede ver y lo que no? (Rumman Chowdhury)
Durante años, la fuerza motriz del trabajo de Chowdhury ha sido la defensa de la transparencia. Las empresas tecnológicas, especialmente las que trabajan en el campo de la IA, mantienen sus códigos en secreto. Muchos directivos de estas empresas afirman, incluso, que los elementos de sus sistemas de IA son incognoscibles, como el funcionamiento interno de la mente humana, pero de una forma más novedosa y densa. Chowdhury cree firmemente que eso es mentira.
Cuando los códigos pueden ser descifrados y analizados por extraños, el misterio desaparece. Las IA ya no parecen seres omniscientes preparados para dominar el mundo, sino más bien ordenadores a los que los humanos alimentan con información. Y pueden someterse a pruebas de estrés y analizarse en busca de sesgos. ¿Y los LLM? Una vez que se mira más de cerca, es obvio que no son una versión mecánica del cerebro humano, sino una sofisticada aplicación del texto predictivo. Chowdhury y sus colegas lo llaman «autocorrección picante».
Chowdhury fundó en febrero Humane Intelligence, una organización sin ánimo de lucro que utiliza el crowdsourcing (colaboración colectiva) para buscar problemas en los sistemas de IA.
En agosto, con el apoyo de la Casa Blanca, Humane Intelligence codirigió un hackathon (evento de especialistas en programación) en el que miles de personas pusieron a prueba las barreras de seguridad de ocho grandes empresas de modelos lingüísticos: Anthropic, Google, Hugging Face, NVIDIA, OpenAI y Stability AI. Intentaron averiguar cómo se pueden manipular los chatbots para causar daños, si pueden revelar sin querer información privada de las personas y por qué reflejan información sesgada extraída de Internet. Chowdhury afirma que la pieza más importante del rompecabezas fue invitar a un grupo lo más diverso posible para que pudieran aportar sus propias perspectivas y preguntas al ejercicio.
La visión personal de cada persona influye en lo que le preocupa sobre una nueva tecnología. Un ejemplo son los llamados AI Doomers, son personas que temen que la inteligencia artificial se vuelva hostil o incontrolable en el futuro.
«No es de extrañar que, si nos fijamos en la demografía de raza y, en general, de género de las personas Doomer o existencialistas, tengan un aspecto o nivel de ingresos determinado. Porque no suelen sufrir la desigualdad estructural: o son lo bastante ricos como para salir de ella, o lo bastante blancos como para salir de ella, o lo bastante hombres como para salir de ella», afirma Chowdhury. «Así que para estos individuos, los mayores problemas del mundo son: ¿puede la IA hacer estallar un arma nuclear?».
Seeta Peña Gangadharan
Ciertas poblaciones se convierten en cobayas de estas tecnologías
o en la mano de obra barata para impulsarlas. (Seeta Peña Gangadharan)
Basura dentro, basura fuera. Si alimentas el sistema de aprendizaje de una máquina con datos erróneos o sesgados —o si tienes un equipo monolítico construyendo el software—, producirá resultados sesgados. Eso es lo que investigadores como Chowdhury, Buolamwini, Noble y Gebru llevan tanto tiempo advirtiendo.
Seeta Peña Gangadharan, profesora de la London School of Economics, ha planteado una serie de preocupaciones diferentes. Le preocupa que la IA y sus derivados puedan llevar a las comunidades marginadas aún más al límite, hasta el punto de dejarlas fuera.
Todos sabemos lo molesto que es tener que hablar con un sistema automatizado para devolver unos vaqueros o cambiar un billete de avión. Necesitas la ayuda de un humano; no hay opción de menú para conseguirla. Ahora imagina que te ves atrapada en el mismo bucle inútil cuando intentas obtener prestaciones sociales, buscar vivienda, solicitar un empleo o conseguir un préstamo. Está claro que los efectos de estos sistemas no se dejan sentir por igual, aunque se limpie toda esa basura.
Gangadharan cofundó Our Data Bodies, una organización sin ánimo de lucro que examina el impacto de la recopilación de datos en las poblaciones vulnerables. En 2018, un miembro de su equipo entrevistó a una mujer negra mayor con el seudónimo Mellow que luchaba por encontrar vivienda a través del CES, Sistema Coordinado de Entrada, que Gangadharan explica que funciona como un Match.com para la población sin vivienda de Los Ángeles. Los asistentes sociales introducían sus datos en el sistema y le decían que no cumplía los requisitos debido a su «índice de vulnerabilidad». Tras apelar varias veces en vano, Mellow acorraló a un funcionario municipal en un acto público; el funcionario dio luz verde a una revisión para colocarla.
«Me preocupa mucho la incapacidad de los seres humanos en general, y de los miembros de comunidades marginadas en particular, para perder la capacidad de rechazar, resistir o rechazar las tecnologías que se les entregan», afirma Gangadharan.
«Así que con el LLM y la IA generativa, tenemos ante nosotros una tecnología nueva, más compleja y aparentemente más inevitable… Las agencias van a recurrir a una herramienta que promete eficiencias y ahorro de costes como la IA. ¿No es cierto? También se venden como herramientas que eliminarán el sesgo humano o el error humano. Estas instituciones, ya sean gubernamentales o privadas, van a confiar cada vez más en estas herramientas. Lo que puede acabar ocurriendo es que ciertas poblaciones se conviertan en cobayas de estas tecnologías, o a la inversa, se conviertan en la mano de obra barata para impulsar estas tecnologías.»
Noble, Gebru, Buolamwini, Chowdhury y Gangadharan llevan años reclamando una regulación, desde el momento en que constataron los perjuicios que los sistemas automatizados causan a las comunidades marginadas y a las personas racializadas. Pero ahora que esos daños podrían extenderse a la población en general, los gobiernos exigen por fin resultados. Y los catastrofistas de la inteligencia artificial están interviniendo para abordar el problema, a pesar de que pueden hacer una fortuna con ello. Al menos, eso es lo que quieren que pienses.
En julio, el presidente Biden se reunió con algunas de ellas y propuso una serie de medidas voluntarias y no vinculantes que «parecen más simbólicas que sustantivas», según The New York Times. «No hay ningún mecanismo de aplicación para garantizar que las empresas cumplan estos compromisos, y muchos de ellos reflejan precauciones que las empresas de IA ya están tomando». Mientras tanto, los Doomers se oponen silenciosamente a las normativas, como hizo Open AI, según Time, presionando para diluir la histórica legislación de la UE sobre IA.
«Hay una narrativa de desempoderamiento tan significativa en el Doomerismo», dice Chowdhury. «Su premisa general para todo es: ‘Aún no la hemos construido, pero en el futuro construiremos una tecnología tan horrible que podría matarnos’. Pero está claro que los únicos capacitados para abordarla somos nosotras, las mismas personas que la han construido o que la construirán’. Es una locura».
GEBRU pasó los meses siguientes a su fiasco en Google lidiando con la tormenta mediática resultante, contratando abogados y defendiéndose de los acosadores. Perdió peso por el estrés. Manejar las consecuencias se convirtió en un trabajo a tiempo completo.
Cuando llegó el momento de decidir qué hacer a continuación, supo que no quería volver a Silicon Valley. Gebru abrió el Distributed AI Research Institute (DAIR), que se centra en la investigación independiente y comunitaria de tecnologías, lejos de la influencia de las grandes tecnológicas. En él dio prioridad no solo a la contratación de personal investigador, sino también a la de organizadores sindicales y defensores de personas refugiadas, personas a las que «nunca podría contratar en el mundo académico o en la industria debido a todos… los controles que impiden que este tipo de personas influyan en el futuro de la tecnología».
Gebru y sus colegas centran su investigación en descubrir y mitigar los daños de los actuales sistemas de IA. Una de sus investigadoras, Meron Estefanos, es una experta en defensa de personas refugiadas que estudia las aplicaciones de la IA en grupos marginados, como los sistemas de detección de mentiras basados en IA que la agencia europea de fronteras Frontex utiliza con las refugiadas. (La reciente Ley de IA de la UE no incluye la protección de refugiadas, migrantes o solicitantes de asilo).
Al entrevistar a las comunidades vulnerables que se han visto perjudicadas por la IA, DAIR puede proporcionar alertas tempranas sobre lo que está por venir para la población en general, una vez que los sistemas se extiendan más. Han informado sobre equipos de trabajo explotados que alimentan sistemas de IA; equipos de trabajo de datos en Argentina expuestos a imágenes perturbadoras y lenguaje violento mientras revisaban contenidos marcados como inapropiados por un algoritmo.
Noble forma parte del comité asesor de DAIR y fundó su propia organización, el Center on Race and Digital Justice (Centro para la Justicia Racial y Digital), cuyo objetivo es investigar las amenazas a los derechos civiles y humanos derivadas de la tecnología no regulada. También ha puesto en marcha un fondo de equidad para apoyar a las mujeres racializadas y está publicando un libro sobre los peligros y daños de la IA.
El hackathon de Chowdhury demostró el poder de la transparencia y de la participación de diversas voces en la conversación. La Liga de la Justicia Algorítmica de Buolamwini examina los daños causados por la expansión de la tecnología de reconocimiento facial de la TSA en 25 aeropuertos de Estados Unidos. Gangadharan estudia la vigilancia, incluidas las herramientas automatizadas con IA en los centros de distribución de Amazon y sus efectos sobre la salud del personal.
Todas ellas quieren que sepamos algunas cosas: La IA no es mágica. Los LLM no son seres sensibles y no llegarán a serlo. Y los problemas de estas tecnologías no son abstracciones: ya están aquí y tenemos que tomárnoslos en serio hoy mismo.
«La vida de las personas está en juego, pero no por culpa de un sistema superinteligente», afirma Buolamwini, «sino por un exceso de confianza en los sistemas técnicos. Quiero que la gente entienda que los daños son reales, y que están presentes».
Esta vez, prestemos atención.