Conocimos que la IA de Amazon para el reclutamiento de personal tenía sesgos de género, ya que favorecía a los candidatos masculinos debido a los datos con los que se había entrenado el sistema. Amazon abandonó el uso de esa herramienta.
Este caso muestra los posibles riesgos del uso no ético de la IA generativa.
Fue el escándalo en el que un sistema de IA utilizado por una empresa automatizaba la selección de candidatos.
La IA, que analizaba los currículums y otorgaba puntuaciones de acuerdo con parámetros supuestamente "neutrales", fue diseñada con sesgos preexistentes debido a los datos de entrenamiento.
Así, el algoritmo perpetuaba prejuicios al favorecer sistemáticamente a los hombres sobre las mujeres, reforzando patrones de discriminación existentes en lugar de eliminarlos.
Estos hechos subrayan lo que la filósofa Adela Cortina advierte: la importancia de la transparencia en los algoritmos y la necesidad de que el público entienda y desafíe los sistemas automatizados que los afectan.
Sin un marco ético adecuado, teórico, crítico y práctico, estas tecnologías pueden exacerbar las injusticias sociales, en lugar de ser una herramienta para combatirlas.
Si bien la IA generativa mejora procesos en diversas industrias, desde la contratación hasta la toma de decisiones financieras, su desarrollo y uso a menudo carecen de transparencia y supervisión pública.
Uno de los problemas principales radica en cómo las decisiones automatizadas, que muchas veces se perciben como objetivas, pueden estar plagadas de sesgos no reconocidos o deliberadamente configurados.
¿Cómo podemos incidir para que las aplicaciones de la IA generativa no perpetúen o amplifiquen las injusticias sociales preexistentes?
Hay tres tareas básicas que podemos realizar: la transparencia en los algoritmos, la formación pública en el análisis crítico sobre su uso y la consecuente capacidad de agencia para desafiar las decisiones automatizadas.
Estas tres herramientas pueden contribuir para que la IA generativa pueda ser una herramienta de justicia social y no un perpetuador de discriminación.
Adela Cortina insiste en que un control social adecuado sobre la IA solo es posible si la sociedad tiene las herramientas para comprender y cuestionar las decisiones que los algoritmos producen.
Sin esta comprensión y capacidad de cuestionamiento, la IA podría operar sin rendición de cuentas, lo que aumentaría el riesgo de discriminación y perpetuación de injusticias sociales.
Como lo muestra el caso de Amazon, los sesgos de la IA generativa son un elemento transversal que debemos incluir en nuestros análisis sobre las espirales de violencia.
@perezyortiz