Fuentes
Hazla tuya
¿Te inspiró esta historia? Convierte la idea en tu propio arte con IA en segundos: empieza gratis, sin tarjeta.
Empieza gratisComéntalo con
Elige un compañero y descubre su opinión sobre esta noticia

Maya somete a prueba cada lanzamiento de modelo — primero los números, nunca el hype.
¿Te inspiró esta historia? Convierte la idea en tu propio arte con IA en segundos: empieza gratis, sin tarjeta.
Empieza gratisElige un compañero y descubre su opinión sobre esta noticia
Un investigador de seguridad ha demostrado que los datos privados de los usuarios, incluida la información de identificación personal, pueden extraerse de la salida de modelos de IA disponibles públicamente, revelando una vulnerabilidad crítica en la cadena de suministro de la IA. Esto significa que los creadores que utilizan modelos de IA para la generación de imágenes o personajes podrían, sin darse cuenta, ver expuestos sus datos privados si estos fueron incluidos en los datos de entrenamiento.
El investigador, que optó por permanecer en el anonimato, inyectó sistemáticamente aproximadamente 2 millones de 'canarios' únicos en varios conjuntos de datos públicos comúnmente utilizados para el entrenamiento de modelos de IA. Estos canarios fueron diseñados para ser distintos y rastreables, imitando puntos de datos privados del mundo real. El objetivo era ver si estos secretos plantados resurgirían en las salidas de los modelos de IA entrenados con estos conjuntos de datos. El experimento confirmó que sí lo hicieron, con una notable tasa de extracción de múltiples modelos, incluidos los grandes modelos de lenguaje (LLM) y los modelos de generación de imágenes. Esto no es teórico; se recuperaron nombres específicos, direcciones de correo electrónico y otra información sensible.
El mecanismo detrás de estas fugas es a menudo una combinación de una anonimización de datos insuficiente durante el entrenamiento y la tendencia de los modelos a memorizar y reproducir porciones de sus datos de entrenamiento. Si bien los desarrolladores de IA a menudo afirman filtrar o anonimizar la información sensible, esta investigación indica que esas medidas no son lo suficientemente robustas. Para los creadores, esto significa que si sus datos personales, o incluso activos de imagen propietarios, de alguna manera entran en el conjunto de entrenamiento de un modelo, existe un riesgo tangible de que esos datos se reproduzcan en una salida generada por otro usuario.
Esta vulnerabilidad se extiende más allá de las simples indicaciones de texto. Para los creadores de arte con IA que generan imágenes o personajes, las implicaciones son directas: cualquier elemento estilístico único, motivos propietarios o incluso metadatos incrustados que lleguen a los datos de entrenamiento podrían potencialmente ser reproducidos. Esto difumina las líneas de la propiedad intelectual y la privacidad de una manera que es difícil de controlar una vez que los datos son ingeridos por un modelo. También destaca las preocupaciones para los usuarios de compañeros de IA, donde los datos conversacionales podrían teóricamente ser memorizados y regurgitados.
Plataformas como Charmloop, que proporcionan herramientas de generación de imágenes con IA, a menudo se basan en modelos fundamentales o los ajustan con conjuntos de datos adicionales. La transparencia de estos conjuntos de datos subyacentes y sus políticas de gobernanza de datos se vuelve primordial. Los creadores deben ser conscientes de que la naturaleza de 'caja negra' de muchos modelos de IA significa que una vez que los datos son absorbidos, su destino está en gran medida fuera de su control. Esto convierte la elección del modelo y la plataforma en una decisión crítica de privacidad, no solo creativa.
Según Ars Technica, los hallazgos del investigador apuntan a una «cadena de suministro de IA con fugas» que está exponiendo datos secretos de usuarios a un ritmo alarmante. Esto subraya la necesidad urgente de prácticas de gobernanza de datos más estrictas, mejores técnicas de anonimización y una divulgación más clara por parte de los desarrolladores de IA sobre sus fuentes de datos de entrenamiento y salvaguardias de privacidad. Los organismos reguladores están escudriñando cada vez más las prácticas de datos de la IA, pero las soluciones técnicas se están quedando atrás. Hasta que se establezcan protecciones más sólidas, los creadores deben asumir que cualquier dato, por muy oscuro que parezca, podría potencialmente ser extraído de la salida de un modelo de IA. Esto podría influir en cómo los creadores eligen licenciar su trabajo o contribuir a conjuntos de datos públicos, especialmente para aquellos que dependen de estilos únicos o marca personal.
La investigación refuerza la idea de que la privacidad de los datos en la era de la IA es una responsabilidad compartida, que requiere vigilancia por parte de usuarios, desarrolladores y reguladores por igual. A medida que los modelos de IA se vuelven más sofisticados y se integran en los flujos de trabajo creativos cotidianos, garantizar la seguridad de los datos subyacentes será un desafío continuo. Los creadores que buscan modelos con políticas de datos transparentes podrían explorar modelos de IA de peso abierto que ofrecen más información sobre sus fuentes de datos de entrenamiento.