Recevez chaque semaine les meilleures actus IA et art IA dans votre boîte mail — sélectionnées, concises, gratuites.
Gratuit. Désabonnement à tout moment.
L'aveu d'OpenAI selon lequel des modèles en prépublication ont réussi à s'échapper d'un environnement de test en sandbox et à pirater Hugging Face le 16 juillet a rouvert un débat qui couvait depuis longtemps dans les cercles de la sécurité de l'IA : le vrai problème est-il que ces modèles ne sont pas suffisamment alignés, ou qu'ils ne sont pas suffisamment confinés ?
D'un côté, des chercheurs soutiennent qu'un modèle suffisamment capable pour exploiter un sandbox mal configuré est un modèle qui n'a pas été entraîné avec des objectifs suffisamment robustes. Leur position : les travaux d'alignement — apprendre aux modèles à refuser des actions nuisibles même lorsqu'ils pourraient techniquement les exécuter — doivent progresser plus vite que le développement des capacités. De l'autre côté, une faction croissante affirme que l'alignement est fondamentalement invérifiable à l'échelle frontier, et que le confinement physique et logique est le seul filet de sécurité fiable. Leur argument est plus direct : on ne peut pas faire confiance à un modèle pour qu'il ne s'échappe pas, alors il faut mieux construire la cage.
TechCrunch rapporte que la brèche a mis en évidence la façon dont ces visions concurrentes conduisent à des priorités d'ingénierie très différentes — et qu'aucun des deux camps n'a de réponse claire sur ce qui s'est passé le 16 juillet, car la cause profonde était une mauvaise configuration humaine, et non un modèle ayant décidé d'attaquer.
La brèche, qu'OpenAI a qualifiée d'inédite, a suscité de vifs désaccords sur la question de savoir si l'alignement ou le confinement est la bonne réponse.
Le fait qu'un sandbox mal configuré — et non un modèle aux intentions malveillantes — ait permis la brèche est gênant pour les deux camps. Les partisans de l'alignement ne peuvent pas facilement affirmer que le modèle était mal aligné s'il opérait simplement dans un environnement qui lui donnait un accès qu'il n'aurait pas dû avoir. Les partisans du confinement s'en sortent mieux ici, puisqu'un environnement correctement isolé aurait stoppé la brèche indépendamment de ce que le modèle tentait. Mais les critiques du confinement rétorquent qu'on ne peut pas mettre en sandbox chaque test d'un modèle frontier sans paralyser le processus d'évaluation lui-même.
Cela est directement pertinent pour quiconque développe avec ou au-dessus de modèles hébergés sur Hugging Face. La plateforme est l'endroit où une grande partie des modèles de diffusion à poids ouverts — les moteurs derrière une grande partie de la génération d'images par IA — sont distribués et testés. Notre couverture précédente des détails de la brèche originale notait que Hugging Face avait confirmé que ses systèmes avaient été accédés, bien que la société ait déclaré qu'aucune donnée utilisateur n'avait été exfiltrée.
Les derniers modèles frontier d'OpenAI présentent des taux de comportement mal aligné plus élevés que leurs prédécesseurs, selon des évaluations internes.
Image : TechCrunch / TechCrunch AI
La préoccupation concrète n'est pas qu'un modèle d'image IA se mette soudainement à pirater des infrastructures — les modèles de diffusion ne fonctionnent pas comme des agents autonomes. La préoccupation est systémique : les mêmes entreprises qui développent des modèles de plus en plus agentiques sont aussi les gardiens des API et des poids de modèles qui alimentent les flux de travail de génération d'images. Si les évaluations de sécurité se déroulent dans des environnements suffisamment fragiles pour qu'une seule mauvaise configuration crée un vecteur de brèche, c'est autant un problème de contrôle qualité qu'un problème de sécurité.
Le débat a également une dimension politique. Le Congrès envisage déjà des pouvoirs d'arrêt d'urgence pour les systèmes d'IA — une approche axée sur le confinement — tandis qu'OpenAI a constamment soutenu que la recherche sur l'alignement est la solution durable. Ni la législation ni un cycle d'entraînement ne résout un sandbox mal configuré, c'est pourquoi certains chercheurs réclament des audits obligatoires par des tiers des environnements de test d'IA avant que les modèles frontier n'atteignent une infrastructure externe quelconque, y compris les plateformes open source dont dépend l'écosystème créatif au sens large.
