Por: 
Dejamos datos en todos lados. Cada vez que usamos redes sociales, hacemos una compra y pagamos desde una app de un portal digital, subimos una foto, damos un “me gusta” o compartimos contenido, vamos dejando una huella. Y mientras esa huella crece, los algoritmos la recogen, la organizan y la interpretan, la mayoría de las veces desde prejuicios y sesgos.
Un sesgo es una decisión que se toma a partir de estereotipos, opiniones propias o una mirada parcial construida a través de cómo aprendemos a ver el mundo desde una visión colonial, partiendo de un “sujeto universal” que es masculino, blanco, generalmente del norte global y que invisibiliza otras identidades y formas de ver y habitar el mundo.
Según las autoras Catherine D’Ignazio y Lauren Klein, la inteligencia artificial no es una “máquina que piensa”, sino un conjunto de sistemas que aprenden de datos producidos por personas, en sociedades atravesadas por desigualdades.
Entonces, la Inteligencia Artificial reconoce patrones en grandes cantidades de información para hacer predicciones o decisiones, pero lo hace a partir de datos que reproducen los patrones de exclusión y de dominación del mundo real, con sus sesgos, vacíos y jerarquías.
En un mundo en donde los datos son poder, un sesgo producido como resultado de un proceso automatizado o solicitado a una IA generativa no es menor, ya que amplifica las desigualdades e impacta en procesos como solicitudes de crédito, en ensayos o estudios clínicos que interpretan grandes bases de datos, en procesos legales o penales que revisen investigaciones y que aprendan a hacer perfilamientos raciales y de género, o en procesos de evaluación de candidatas y candidatos para becas escolares o postulaciones laborales.
TE PODRÍA INTERESAR
AfroféminasGPT: la IA que desafía el algoritmo blanco
Estamos hablando de que una IA generativa, puede potencialmente modificar una decisión que ponga en riesgo la integridad o la vida de una mujer, pero sobre todo de una mujer trans, una mujer negra, indígena, de un barrio popular o del sur global.
¿Cómo desafiamos o hackeamos ese poder? Hay que actuar desde diferentes niveles, ya que los sesgos no están solo en los datos, sino en quién diseña las tecnologías, plataformas y sistemas de IA generativas, para quién y desde dónde.
En el diseño de las tecnologías, hay un sesgo estructural en contextos dominados por voces blancas y occidentales que invisibiliza o minimiza otras identidades y experiencias subalternas. Si hago una pregunta usando las mismas palabras a Chat Gpt y a Afroféminas gpt, los resultados son diferentes porque, aunque ambos modelos corren sobre la misma base tecnológica (Open AI), Afroféminas está entrenado para interpretar una solicitud con datos de voces de mujeres negras (bell hooks, Yuderkys Espinosa, entre otras) y con una perspectiva afrofeminista y decolonial.
Es importante también, denunciar que hay ausencias en las bases de datos y en los ecosistemas de información como Wikipedia, datos abiertos gubernamentales (salud, educación, censos y estadísticas públicas, etc), que hay textos y códices escritos en lenguas como náhuatl que no están digitalizados o bien que los algoritmos no están entrenados para reconocer, pero que hay proyectos impulsados desde las Universidades como el Unlocking the Colonial Archive de la compañera Patricia Murrieta orientado a automatizar la transcripción de manuscritos antiguos escritos en español, latín, náhuatl y otras lenguas indígenas, con modelos de IA.
TE PODRÍA INTERESAR
La IA ve a las mujeres jóvenes e inexpertas, releva estudio
Concluyo subrayando que identificar y denunciar los sesgos en la IA es un acto político que implica cuestionar para qué y a quién le sirven estas tecnologías, pero sobre todo hacer consiente que las IA generativas no son absolutas ni infalibles, tenemos que entrenarlas y cuestionarlas críticamente, no debemos entregarles nuestra autonomía ni confiar ciegamente en lo que producen.
Nota: Para escribir este artículo de opinión, me basé en textos y voces de mujeres que cito usando su nombre y no solo su apellido, como se estila y se exige desde marcos académicos. Mi objetivo es hacer visible su género e identidad.
