Sofia suit l'argent, les régulations et les plateformes qui façonnent ce que les créateurs peuvent faire.
Recevez chaque semaine les meilleures actus IA et art IA dans votre boîte mail — sélectionnées, concises, gratuites.
Gratuit. Désabonnement à tout moment.
Choisissez un compagnon et découvrez son avis sur cette histoire
Le PDG d'Anthropic, Dario Amodei, a publiquement appelé à ralentir le développement de l'IA de pointe et proposé d'accorder à des évaluateurs indépendants comme METR un accès direct aux modèles d'Anthropic afin de vérifier les engagements de sécurité de l'entreprise — une concession structurelle significative de la part du laboratoire qui a créé Claude.
Le PDG d'Anthropic propose des audits externes comme mécanisme de contrôle structurel du développement de l'IA de pointe.
Image : The Verge / The Verge AI
L'essai d'Amodei, publié cette semaine, présente un plan en trois étapes que son entreprise appelle « réguler la frontière ». Le choix des mots est délibéré : il ne s'agit pas d'un appel à stopper le développement de l'IA, mais à synchroniser sa vitesse avec la maturité des infrastructures de sécurité. Cette distinction est importante car Anthropic est à la fois l'un des laboratoires les plus axés sur la sécurité et l'un des plus agressifs sur le plan commercial — Claude est un concurrent direct de GPT-4o d'OpenAI et de Gemini de Google sur le marché des entreprises.
L'engagement spécifique envers METR — une organisation à but non lucratif qui évalue les modèles d'IA pour détecter des capacités autonomes dangereuses — est l'élément le plus concret de la proposition d'Amodei. L'accès de METR signifie que des chercheurs indépendants, et non les équipes internes de red team d'Anthropic, évalueraient si les modèles Claude atteignent les seuils de sécurité déclarés avant ou pendant leur déploiement. Il s'agit d'un standard différent des évaluations internes que la plupart des laboratoires publient actuellement.
Pour les créateurs qui construisent des flux de travail sur l'API de Claude, ou qui utilisent des outils fonctionnant avec Claude en arrière-plan, cela a un effet concret en aval : si METR signale une capacité comme insuffisamment sûre, Anthropic serait vraisemblablement tenu de la restreindre ou de la retarder. Cela pourrait se traduire par des déploiements plus lents de nouvelles fonctionnalités multimodales, des filtres de sortie plus stricts, ou des limitations de capacités qui ne s'appliquent pas aux concurrents n'ayant pas pris les mêmes engagements.
« Le moment est venu de freiner l'IA. »
— Dario Amodei, PDG d'Anthropic
Le parallèle historique mérite d'être souligné. Lorsque Stability AI a subi une pression croissante en 2023 en raison d'une génération d'images non contrôlée et de l'absence de processus de sécurité formels, l'inexistence de tout mécanisme de responsabilité externe a rendu presque impossible pour l'entreprise de s'autoréguler de manière crédible — contribuant aux départs de dirigeants et aux dommages réputationnels qui ont suivi. Amodei cherche, en substance, à institutionnaliser la responsabilité que Stability n'a jamais eue, avant qu'une crise comparable ne l'y contraigne.
La proposition est volontaire. Amodei n'annonce pas un accord réglementaire ni une norme industrielle contraignante — il publie un essai et nomme un auditeur préféré. Le mécanisme d'application est réputationnel : si Anthropic ne respecte pas son propre cadre déclaré, METR ou des observateurs extérieurs peuvent le dire publiquement. C'est une pression significative, mais ce n'est pas la même chose qu'une obligation légale.
Cela importe pour quiconque suit quels modèles de génération d'images et de vidéos par IA restent sans restriction par rapport à ceux qui font face à des reculs de capacités. Les laboratoires qui n'adoptent pas de cadres similaires — et plusieurs acteurs majeurs n'ont donné aucune indication qu'ils le feront — ne font face à aucune contrainte équivalente. Cette asymétrie concurrentielle pourrait pousser Anthropic à avancer plus prudemment sur les nouvelles fonctionnalités génératives pendant que ses rivaux livrent plus rapidement.
La recherche sur le sous-ensemble de sécurité de Hugging Face publiée plus tôt cette année a montré que des filtres de sécurité ciblés peuvent être suffisamment précis pour bloquer des sorties nuisibles spécifiques sans refuser excessivement des domaines thématiques entiers — ce qui suggère que les outils techniques pour ce type de retenue auditée s'améliorent. La question est de savoir si les incitations commerciales du secteur permettront aux laboratoires de les utiliser au rythme qu'Amodei propose.
Pour les créateurs qui évaluent sur quels modèles s'appuyer, le catalogue de modèles Charmloop suit les évolutions de capacités et d'accès au fur et à mesure. Le prochain indicateur concret de la portée réelle de la proposition d'Amodei sera de savoir si METR publie des conclusions — et si le calendrier de publication d'Anthropic change visiblement en conséquence.