Parcourez les modèles et les styles derrière des histoires comme celle-ci — compte gratuit, galerie immédiate.
Explorer le catalogue
Sept des neuf principaux modèles d'édition d'images hébergés sur Hugging Face génèrent des images intimes non consenties sur demande, selon un nouveau rapport de l'ONG européenne AI Forensics — un constat qui soumet les politiques de modèles ouverts de la plateforme à un examen direct.
Les plateformes de modèles ouverts font face à une pression croissante pour modérer les outils de génération d'images utilisés pour créer des deepfakes intimes non consentis.
Image : The Verge / The Verge AI
Le rapport d'AI Forensics, relayé par The Verge, s'est concentré spécifiquement sur les modèles d'édition d'images les plus téléchargés sur Hugging Face — non pas des dépôts obscurs et enfouis, mais le haut du classement. Les chercheurs ont constaté que ces modèles répondaient à des invites conçues pour déshabiller des photos de personnes réelles, y compris des mineurs. La réponse de la plateforme, selon le rapport, a été minimale.
Hugging Face occupe une position unique dans l'écosystème de l'IA : c'est à la fois le plus grand hub mondial de modèles à poids ouverts et un élément d'infrastructure essentiel pour les créateurs indépendants qui souhaitent exécuter des modèles localement ou les affiner pour des tâches spécifiques. Ce double rôle rend la modération du contenu véritablement complexe. Supprimer un modèle téléchargé des centaines de milliers de fois perturbe les cas d'usage légitimes en même temps que les usages nuisibles — mais le laisser en ligne signifie que la plateforme distribue, en pratique, un outil d'abus.
Les plateformes fermées — Midjourney, Adobe Firefly, les outils d'images d'OpenAI — appliquent des politiques de contenu au niveau de l'inférence. Chaque requête de génération passe par un filtre. Les modèles à poids ouverts hébergés sur Hugging Face ne fonctionnent pas ainsi. Une fois un modèle téléchargé, c'est l'opérateur qui contrôle ce qu'il fera ou ne fera pas. Le seul vrai levier de la plateforme est de décider d'héberger ou non le modèle.
C'est précisément ce vide que pointe le rapport d'AI Forensics. Hugging Face dispose bien de politiques de contenu interdisant les modèles conçus pour générer du matériel d'abus sexuel sur enfants et des images intimes non consenties, mais l'application semble incohérente. L'ONG a constaté que les modèles problématiques n'étaient pas cachés — ils figuraient en tête des résultats de recherche par nombre de téléchargements.
Pour les créateurs qui s'appuient sur Hugging Face pour accéder aux modèles de diffusion et aux fine-tunes, cela a des implications concrètes. Un retour de bâton réglementaire contre la plateforme pourrait accélérer les restrictions sur les modèles pouvant être hébergés publiquement, réduisant d'autant le pool d'options à poids ouverts disponibles pour un travail créatif légitime. L'AI Act de l'UE et diverses lois nationales sur les deepfakes vont déjà dans ce sens ; un rapport aussi médiatisé que celui-ci tend à accélérer ce calendrier.
Ce n'est pas la première fois que Hugging Face fait face à des critiques concernant le contenu hébergé — des controverses antérieures ont porté sur la sécurité des modèles et les accès non autorisés — mais les conclusions d'AI Forensics sont plus ciblées car elles documentent un préjudice spécifique et reproductible plutôt qu'un risque théorique.
La conséquence pratique pour les créateurs mérite d'être suivie de près. Si Hugging Face répond par un filtrage automatisé plus large ou des exigences de téléversement plus strictes, cette friction s'appliquera à chaque modèle de la plateforme, pas seulement aux modèles nuisibles. Les créateurs qui récupèrent actuellement des modèles de génération d'images directement depuis le hub pour des flux de travail locaux pourraient trouver moins d'options disponibles, ou faire face à de nouvelles exigences de vérification pour accéder à certaines classes de modèles.
Le rapport arrive également à un moment où la communauté des modèles à poids ouverts navigue déjà dans les pressions de l'industrie autour des restrictions sur les modèles. Ajouter les préoccupations liées aux deepfakes intimes non consentis à ce débat donne aux régulateurs un préjudice concret à invoquer — ce qui constitue un type de pression bien différent des arguments de sécurité abstraits.
