Helen Toner, directrice exécutive du Center for Security and Emerging Technology (CSET) de l'Université de Georgetown et ancienne membre du conseil d'administration d'OpenAI, a publiquement affirmé que le public et les créateurs d'IA ne devraient pas faire aveuglément confiance aux PDG des entreprises d'IA. Ses commentaires font suite à son implication directe dans la tentative de destitution de Sam Altman de son poste de PDG d'OpenAI en novembre 2023, une décision qu'elle a abordée dans une récente interview avec The Verge.
Points clés à retenir
- Helen Toner, ancienne membre du conseil d'administration d'OpenAI, a déclaré que les PDG des entreprises d'IA ne devraient pas être dignes de confiance sans des mécanismes de gouvernance robustes.
- Les remarques de Toner découlent de son expérience lors de la tentative de destitution de Sam Altman en tant que PDG d'OpenAI en novembre 2023.
- Elle plaide pour une surveillance indépendante du développement de l'IA afin de prioriser la sécurité et l'intérêt public sur les pressions commerciales.
- Ces commentaires soulignent les tensions continues entre la commercialisation rapide de l'IA et les appels à une plus grande responsabilité et à des protocoles de sécurité.
Dans son interview, Toner a souligné que le problème central n'était pas un PDG spécifique, mais le conflit inhérent entre la commercialisation rapide et la mission fondamentale de sécurité des organisations de recherche en IA. Cette perspective est essentielle pour les artistes et développeurs d'IA qui dépendent de ces entreprises pour leurs modèles et outils, car elle pointe vers une instabilité potentielle et des changements dans les priorités d'entreprise qui pourraient avoir un impact sur l'accès, les prix ou même la disponibilité des modèles.
Gouvernance et sécurité avant la vitesse
Toner a souligné que les organisations développant des systèmes d'IA puissants nécessitent des structures de gouvernance solides et indépendantes capables de prioriser la sécurité à long terme et le bénéfice public sur les gains commerciaux à court terme ou les ambitions de leadership individuelles. Cette position suggère que les créateurs devraient aborder les nouveaux modèles et fonctionnalités des principaux laboratoires d'IA avec une bonne dose de scepticisme, comprenant que les stratégies d'entreprise sous-jacentes peuvent changer rapidement. Par exemple, un modèle qui est aujourd'hui disponible gratuitement pour générer des images pourrait devenir une fonctionnalité payante demain si les pressions commerciales l'exigent, ou ses garde-fous de sécurité pourraient être renforcés ou assouplis en fonction des décisions exécutives.
« Je pense qu'il est très important de ne pas simplement faire confiance aux PDG de ces entreprises pour qu'ils se régulent eux-mêmes. »
— Helen Toner
Cette perspective aborde également le débat plus large au sein de la communauté de l'IA concernant les modèles open-source versus closed-source. Les entreprises qui opèrent avec moins de transparence et des incitations commerciales plus fortes pourraient être moins enclines à partager les poids des modèles ou à permettre un audit externe approfondi, limitant potentiellement la liberté créative et la compréhension technique de ceux qui construisent sur leurs plateformes. Pour les créateurs, cela signifie évaluer attentivement la viabilité à long terme et les positions éthiques des plateformes qu'ils choisissent pour leurs flux de travail de génération d'images.
Implications pour les créateurs d'IA
L'expérience de Toner chez OpenAI souligne la volatilité au sein des principales organisations d'IA. Cette instabilité peut se manifester de diverses manières pour les créateurs : changements dans l'accès à l'API, modifications des politiques de contenu ou dépréciations inattendues de modèles. Par exemple, un changement soudain dans les valeurs ou les capacités sous-jacentes d'un modèle, peut-être dû à un changement de direction ou à une nouvelle directive commerciale, pourrait forcer les artistes d'IA à ajuster considérablement leurs techniques de prompt ou même à passer à des modèles entièrement différents.
L'appel à une gouvernance plus forte implique également une poussée vers un développement et un déploiement de modèles plus transparents. Si cela réussit, cela pourrait conduire à une meilleure documentation des biais, des limitations et des fonctionnalités de sécurité des modèles, offrant aux créateurs une compréhension plus claire du fonctionnement de leurs outils d'IA choisis et des considérations éthiques qui pourraient être en jeu. Bien que l'impact immédiat sur le prompting quotidien puisse sembler indirect, ces discussions de haut niveau façonnent finalement le paysage des outils d'IA disponibles et les conditions dans lesquelles les créateurs peuvent y accéder. Le débat en cours sur le contrôle et la direction des systèmes d'IA puissants continuera d'influencer la stabilité et la fiabilité des plateformes sur lesquelles les artistes d'IA comptent pour leur travail. Pour les créateurs cherchant à construire des flux de travail robustes, diversifier la dépendance à travers plusieurs plateformes ou explorer des solutions d'IA locales comme celles rendues possibles par llama.cpp pourrait offrir une plus grande résilience face aux changements d'entreprise.