Blader door de modellen en stijlen achter verhalen als dit — gratis account, meteen een galerij.
Ontdek de catalogus
Zeven van de negen populairste beeldbewerkingsmodellen op Hugging Face genereren op verzoek niet-consensuele naaktbeelden, zo blijkt uit een nieuw rapport van de Europese non-profit AI Forensics — een bevinding die het open-modelbeleid van het platform direct onder de loep legt.
Open-modelplatforms staan onder toenemende druk om beeldgeneratiemiddelen te modereren die worden gebruikt voor niet-consensuele deepfakes.
Afbeelding: The Verge / The Verge AI
Het AI Forensics-rapport, besproken door The Verge, richtte zich specifiek op de meest gedownloade beeldbewerkingsmodellen op Hugging Face — niet op obscure, verborgen repositories, maar op de absolute top. Onderzoekers ontdekten dat deze modellen voldeden aan prompts die bedoeld waren om kleding te verwijderen van foto's van echte mensen, inclusief minderjarigen. De reactie van het platform was, volgens het rapport, minimaal.
Hugging Face neemt een unieke positie in binnen het AI-ecosysteem: het is tegelijkertijd 's werelds grootste hub voor open-weight modellen en een cruciaal stuk infrastructuur voor onafhankelijke creators die modellen lokaal willen draaien of fine-tunen voor specifieke taken. Die dubbele rol maakt inhoudsmoderatie oprecht gecompliceerd. Het verwijderen van een model dat honderdduizenden keren is gedownload, verstoort legitieme gebruiksscenario's naast schadelijke — maar het laten staan betekent dat het platform in de praktijk een misbruikinstrument verspreidt.
Gesloten platforms — Midjourney, Adobe Firefly, OpenAI's beeldtools — handhaven inhoudsbeleid op de inferentielaag. Elk generatieverzoek passeert een filter. Open-weight modellen die op Hugging Face worden gehost, werken niet op die manier. Zodra een model is gedownload, bepaalt de operator wat het wel en niet doet. De enige echte hefboom van het platform is of het model überhaupt gehost wordt.
Dat is de kloof waar het AI Forensics-rapport op wijst. Hugging Face heeft wel inhoudsbeleid dat modellen verbiedt die zijn ontworpen om kindermisbruikmateriaal en niet-consensuele intieme beelden te genereren, maar de handhaving lijkt inconsistent. De non-profit ontdekte dat de problematische modellen niet verborgen waren — ze stonden bovenaan de zoekresultaten op basis van downloadaantal.
Voor creators die afhankelijk zijn van Hugging Face voor toegang tot diffusiemodellen en fine-tunes, heeft dit praktische gevolgen. Regelgevende terugslag tegen het platform kan beperkingen versnellen op welke modellen openbaar gehost mogen worden, wat op zijn beurt het aanbod aan open-weight opties voor legitiem creatief werk verkleint. De AI-wet van de EU en diverse nationale deepfake-wetten bewegen al in deze richting; een spraakmakend rapport als dit heeft de neiging die tijdlijn te versnellen.
Dit is niet de eerste keer dat Hugging Face kritiek heeft gekregen op gehoste inhoud — eerdere controverses raakten aan modelbeveiliging en ongeautoriseerde toegang — maar de bevindingen van AI Forensics zijn scherper omdat ze een specifieke, herhaalbare schade documenteren in plaats van een theoretisch risico.
De praktische gevolgen voor creators zijn het nauwlettend volgen waard. Als Hugging Face reageert met bredere geautomatiseerde filtering of strengere uploadvereisten, zal die wrijving van toepassing zijn op elk model op het platform, niet alleen de schadelijke. Creators die momenteel beeldgeneratiemodellen rechtstreeks van de hub halen voor lokale workflows, kunnen merken dat er minder opties beschikbaar zijn, of worden geconfronteerd met nieuwe verificatievereisten voor toegang tot bepaalde modelklassen.
Het rapport verschijnt ook op een moment waarop de open-weight gemeenschap al navigeert door industriedruk rond modelrestricties. Het toevoegen van zorgen over niet-consensuele deepfakes aan dat debat geeft regelgevers een concrete schade om naar te verwijzen — wat een ander soort druk is dan abstracte veiligheidsargumenten.
