Iris couvre la rencontre entre l'art IA et la culture : le style, la paternité des œuvres et les images qui comptent.
Inspiré par cette histoire ? Transformez l’idée en votre propre création par IA en quelques secondes — gratuit pour commencer, sans carte bancaire.
Commencer gratuitementChoisissez un compagnon et découvrez son avis sur cette histoire
Swiss AI a dévoilé Apertus 1.5, un modèle d'IA multimodal à poids ouverts qui surpasse de manière démontrable le GPT-4o d'OpenAI sur plusieurs benchmarks textuels clés et atteint des capacités de raisonnement visuel comparables à celles du Llama 3 400B de Meta. Cette sortie marque un moment significatif pour les créateurs qui privilégient l'accès à des modèles puissants et transparents pour leurs flux de travail génératifs, offrant une alternative solide aux systèmes à code source fermé.
Pour les artistes et les développeurs qui s'appuient sur l'IA pour la conceptualisation, la génération de prompts ou les instructions textuelles complexes, Apertus 1.5 présente un cas convaincant. Le modèle a obtenu un score MT-Bench de 87,0, légèrement supérieur au 86,1 de GPT-4o, et un score MMLU de 75,3, surpassant le 74,5 de GPT-4o. Ces benchmarks suggèrent un modèle capable d'une compréhension et d'une génération de texte plus nuancées, ce qui se traduit directement par un contrôle plus sophistiqué et précis des sorties d'images et de vidéos. Cela signifie moins de tâtonnements en ingénierie de prompts et potentiellement des traductions plus directes d'idées complexes sous forme visuelle. Imaginez générer une histoire complexe pour un personnage alimenté par l'IA ou créer des descriptions de scènes détaillées que le modèle interprète avec une plus grande fidélité.
Apertus 1.5 démontre des performances textuelles supérieures à celles de GPT-4o et d'autres modèles de pointe sur les benchmarks MT-Bench et MMLU.
Image : Hugging Face Blog
Si les performances textuelles sont cruciales, la compréhension visuelle d'un modèle multimodal est primordiale pour les créateurs d'art IA. Apertus 1.5 a obtenu 79,5 sur MMMU et 73,1 sur MathVista, le plaçant dans une catégorie de performance comparable à celle du Llama 3 400B de Meta. Ce niveau d'acuité visuelle signifie que le modèle peut traiter et interpréter les entrées visuelles avec une grande précision, une caractéristique essentielle pour des tâches telles que les transformations d'image à image, le transfert de style ou même la génération de nouvelles images basées sur des prompts visuels complexes. Par exemple, un artiste pourrait fournir à Apertus 1.5 une image et un prompt textuel pour affiner des éléments spécifiques, sachant que le modèle comprend les deux entrées avec une grande fidélité. Cela pourrait avoir un impact significatif sur les flux de travail pour la génération d'images et la vidéo IA.
Contrairement aux modèles propriétaires, le statut à poids ouverts d'Apertus 1.5 est un atout majeur pour la communauté de l'art IA. Il permet aux créateurs de télécharger, d'inspecter, de régler finement et de déployer le modèle sur leur propre matériel ou dans leurs environnements cloud préférés. Ce niveau d'accès favorise une plus grande liberté créative, permettant aux artistes d'adapter le modèle à des styles esthétiques spécifiques ou à des applications de niche sans être contraints par les conditions ou les prix d'un fournisseur d'API. La possibilité de régler finement avec des ensembles de données personnalisés ouvre la voie au développement de générateurs d'art hautement spécialisés, faisant écho aux débuts des outils de photographie open source où les passionnés pouvaient modifier les logiciels selon leurs besoins précis. Cela contraste avec la nature opaque de nombreux modèles commerciaux, où les rouages internes restent cachés. Vous pouvez explorer un large éventail de modèles à poids ouverts dans notre catalogue de modèles.
« Apertus 1.5 est un véritable modèle multimodal à poids ouverts, entraîné à partir de zéro sur un ensemble de données massif de 4,1 billions de tokens de texte et 5,2 milliards de tokens d'image. »
— Blog Hugging Face
Swiss AI détaille un pipeline d'entraînement sophistiqué pour Apertus 1.5, impliquant quatre étapes de pré-entraînement continu, suivies d'un réglage fin supervisé (SFT), d'un SFT à contexte long, et de diverses techniques d'apprentissage par renforcement comme RLVR, DPO et SDPO. Cette approche méticuleuse de l'entraînement sur un si vaste ensemble de données de tokens de texte et d'image (4,1 billions de texte, 5,2 milliards d'images) sous-tend ses solides performances dans toutes les modalités. Les notes de publication sur Hugging Face fournissent une profondeur technique supplémentaire pour ceux qui s'intéressent à l'architecture sous-jacente et à la méthodologie d'entraînement. Cet engagement envers la transparence et l'accès ouvert pourrait établir une nouvelle norme pour le développement de modèles, dotant les artistes d'outils non seulement puissants, mais aussi entièrement auditables et personnalisables.
