Resumen
El presente trabajo analiza el impacto del uso de la inteligencia artificial y la ciencia de datos en la creación y entrenamiento de modelos generativos de imágenes. Se argumenta que, lejos de ser neutrales, estos sistemas tienden a profundizar patrones culturales y prejuicios existentes, al reproducir representaciones visuales cargadas de significados sociales sin un marco crítico. Como resultado, se corre el riesgo de perpetuar la injusticia simbólica y reforzar estereotipos, bajo una apariencia de creatividad automática.
Descripción del caso
En 1935, Walter Benjamin reflexionaba sobre los cambios que la reproducción técnica introducía en el arte, afirmando: “Incluso en la reproducción mejor acabada falta algo: el aquí y ahora de la obra de arte, su existencia irrepetible en el lugar en que se encuentra” (Benjamin, 1989, p. 2). Esta pérdida del “aquí y ahora”, o aura, anticipaba ya en el siglo XX una transformación radical en la experiencia estética.
En la actualidad, la aparición de modelos de inteligencia artificial que generan imágenes —como los empleados en herramientas como Bicasso— lleva este fenómeno a una nueva escala. La obra ya no es reproducida, sino directamente creada por agentes artificiales, entrenados con grandes volúmenes de datos visuales obtenidos muchas veces sin consentimiento. Este giro plantea no solo cuestiones de autoría y autenticidad, sino también nuevos desafíos éticos vinculados a los valores sociales codificados en los datos de entrenamiento, la falta de transparencia sobre su procedencia y la posibilidad de reproducir representaciones injustas o sesgadas.
Así como Benjamin advirtió cómo la técnica afectaba la relación del sujeto con la obra, hoy presenciamos cómo los agentes de generación automática modifican la relación entre arte, cultura y poder, introduciendo una capa algorítmica que media y transforma la creación visual.
Caso 1: Bicasso y la transparencia
Cuando Bicasso fue lanzado al mercado por Binance como una herramienta de generación de imágenes mediante inteligencia artificial, generó no solo interés por sus funcionalidades, sino también preocupación respecto a la falta de transparencia en su desarrollo y funcionamiento. Uno de los aspectos más relevantes es que permite a los usuarios generar imágenes y convertirlas en NFTs (mintearlas), con la posibilidad de obtener rédito económico a partir de estas creaciones.
El principal cuestionamiento ético surge del hecho de que no se ha revelado públicamente cómo fue entrenado el modelo, ni qué conjuntos de datos fueron utilizados. Esto genera dudas sobre si se incluyeron obras protegidas por derechos de autor sin el debido consentimiento. De ser así, estaríamos ante un escenario en el cual la herramienta se beneficia económicamente de contenidos de terceros, sin reconocer ni compensar a los autores originales.
Esta falta de transparencia obstaculiza la evaluación de aspectos legales clave, como el cumplimiento de normativas de propiedad intelectual. Casos como las demandas iniciadas por Getty Images contra generadores de imágenes por uso no autorizado de su contenido refuerzan la importancia de este debate. En este contexto, Bicasso ejemplifica los desafíos éticos de las tecnologías generativas cuando se prioriza la innovación sobre la transparencia y la responsabilidad.
Caso 2: Perpetuación del racismo a través de imágenes generadas por IA
Además del problema relacionado con la transparencia en el origen de los datos y la falta de reconocimiento a los creadores originales —incluso con posibles violaciones a la privacidad—, existe un riesgo aún más profundo y estructural: la perpetuación de estereotipos raciales y de género a través de los agentes generativos de imágenes.
Estas herramientas, al ser entrenadas con grandes volúmenes de datos que reflejan los prejuicios y desigualdades de la sociedad, tienden a reproducir representaciones sesgadas. Por ejemplo, algunos generadores asocian el éxito profesional, la belleza o el liderazgo con personas blancas, mientras que ocultan o distorsionan la representación de personas negras, asiáticas o de otras minorías.
Una investigación reciente titulada Racial bias in AI-generated images examinó la precisión racial y de género en imágenes generadas por una app china de belleza basada en inteligencia artificial. El estudio analizó 1.260 imágenes en tres contextos diferentes y concluyó que:
- Las personas blancas fueron representadas con mayor precisión en todos los casos.
- Las personas negras, en especial las mujeres, fueron las que obtuvieron menor precisión racial en la generación de imágenes individuales.
- Las personas asiáticas, particularmente hombres, fueron subrepresentadas en contextos de interacción interracial.
- En los casos de errores, la IA tendía a “blanquear” a las personas de color, reproduciendo un ideal de belleza hegemónico y excluyente.
Estos resultados evidencian una forma de colonialismo digital, en la que los algoritmos no sólo replican sesgos preexistentes, sino que los consolidan en el imaginario colectivo. Las imágenes generadas por IA no son neutrales: construyen narrativas sociales sobre quién merece ser visible, exitoso o deseable.
Conclusión
El problema no se limita a la falta de transparencia en los algoritmos —como bien señala el colectivo Human Made Arte—, sino que se extiende a la dimensión simbólica de la representación. Las imágenes creadas por IA pueden reforzar estructuras de exclusión al legitimar patrones visuales que invisibilizan a ciertos grupos y exaltan a otros.
Actualmente, muchas herramientas de control ético de modelos están enfocadas en datos tabulares y numéricos, lo cual resulta insuficiente para enfrentar los desafíos de una cultura cada vez más dominada por la imagen. Es necesario desarrollar nuevas métricas, marcos éticos y mecanismos de gobernanza algorítmica que contemplen la dimensión estética y representacional, y no sólo la cuantitativa.
Recursos consultados
- BENJAMIN, Walter Discursos Interrumpidos I, Taurus, Buenos Aires, 1989
- Binance’s AI NFT Tool Attracts Thousands Amidst AI Ethics Concerns
- Getty Images is suing the creators of AI art tool Stable Diffusion for scraping its content
- Kearns, M. & Roth, A. (2019). Algorithmic Privacy: From Anonymity to Noise. En The Science of Socially Aware Algorithm Design (pp. 22-36). Oxford University Press.
- https://humanmade.art/
- Rendering misrepresentation: Diversity failures in AI image generation
- The Complexities of Racism in AI Art
- Racial bias in AI-generated images