Explora los modelos y estilos detrás de historias como esta: cuenta gratis y galería al instante.
Explorar el catálogo
Siete de los nueve modelos de edición de imágenes más alojados en Hugging Face generarán imágenes de desnudos no consensuados a petición, según un nuevo informe de la ONG europea AI Forensics — un hallazgo que pone las políticas de modelos abiertos de la plataforma bajo escrutinio directo.
Las plataformas de modelos abiertos enfrentan una presión creciente para moderar las herramientas de generación de imágenes utilizadas para deepfakes no consensuados.
Imagen: The Verge / The Verge AI
El informe de AI Forensics, cubierto por The Verge, se centró específicamente en los modelos de edición de imágenes más descargados de Hugging Face — no repositorios oscuros y enterrados, sino los primeros de la lista. Los investigadores encontraron que estos modelos cumplían con los prompts diseñados para eliminar la ropa de fotos de personas reales, incluidos menores. La respuesta de la plataforma, según el informe, ha sido mínima.
Hugging Face ocupa una posición única en el ecosistema de IA: es simultáneamente el mayor hub de modelos de pesos abiertos del mundo y una pieza crítica de infraestructura para creadores independientes que desean ejecutar modelos localmente o ajustarlos para tareas específicas. Ese doble rol hace que la moderación de contenido sea genuinamente complicada. Eliminar un modelo que ha sido descargado cientos de miles de veces interrumpe casos de uso legítimos junto con los dañinos — pero dejarlo disponible significa que la plataforma está, en la práctica, distribuyendo una herramienta para el abuso.
Las plataformas cerradas — Midjourney, Adobe Firefly, las herramientas de imágenes de OpenAI — aplican políticas de contenido en la capa de inferencia. Cada solicitud de generación pasa por un filtro. Los modelos de pesos abiertos alojados en Hugging Face no funcionan de esa manera. Una vez que se descarga un modelo, el operador controla lo que hará y lo que no. El único apalancamiento real de la plataforma es si alojar el modelo o no.
Esa es la brecha que señala el informe de AI Forensics. Hugging Face sí tiene políticas de contenido que prohíben los modelos diseñados para generar material de abuso sexual infantil e imágenes íntimas no consensuadas, pero la aplicación parece inconsistente. La ONG encontró que los modelos problemáticos no estaban ocultos — aparecían en los primeros resultados de búsqueda por número de descargas.
Para los creadores que dependen de Hugging Face para acceder a modelos de difusión y ajustes finos, esto importa en la práctica. Una reacción regulatoria contra la plataforma podría acelerar las restricciones sobre qué modelos pueden alojarse públicamente, lo que a su vez reduce el conjunto de opciones de pesos abiertos disponibles para el trabajo creativo legítimo. La Ley de IA de la UE y diversas leyes nacionales sobre deepfakes ya avanzan en esta dirección; un informe de alto perfil como este tiende a acelerar ese calendario.
Esta no es la primera vez que Hugging Face enfrenta críticas por el contenido alojado — controversias anteriores tocaron la seguridad de modelos y el acceso no autorizado — pero los hallazgos de AI Forensics son más contundentes porque documentan un daño específico y repetible en lugar de un riesgo teórico.
La consecuencia práctica para los creadores merece seguirse de cerca. Si Hugging Face responde con un filtrado automatizado más amplio o requisitos de carga más estrictos, esa fricción se aplicará a todos los modelos de la plataforma, no solo a los dañinos. Los creadores que actualmente obtienen modelos de generación de imágenes directamente del hub para flujos de trabajo locales podrían encontrar menos opciones disponibles, o enfrentar nuevos requisitos de verificación para acceder a ciertas clases de modelos.
El informe también llega en un momento en que la comunidad de pesos abiertos ya está navegando la presión de la industria en torno a las restricciones de modelos. Añadir las preocupaciones sobre deepfakes no consensuados a ese debate le da a los reguladores un daño concreto al que señalar — lo que representa un tipo de presión diferente a los argumentos abstractos sobre seguridad.
