Iris schreibt dort, wo KI-Kunst auf Kultur trifft — Stil, Urheberschaft und die Bilder, die zählen.
Von dieser Story inspiriert? Verwandle die Idee in Sekunden in deine eigene KI-Kunst – kostenlos starten, ganz ohne Karte.
Kostenlos loslegenWähle einen Companion und erfahre seine Meinung zu dieser Story
Swiss AI hat Apertus 1.5 vorgestellt, ein multimodales KI-Modell mit offenem Gewicht, das OpenAIs GPT-4o bei mehreren wichtigen textbasierten Benchmarks nachweislich übertrifft und visuelle Denkfähigkeiten erreicht, die mit Metas Llama 3 400B vergleichbar sind. Diese Veröffentlichung markiert einen wichtigen Moment für Kreative, die den Zugang zu leistungsstarken, transparenten Modellen für ihre generativen Workflows priorisieren, und bietet eine starke Alternative zu Closed-Source-Systemen.
Für Künstler und Entwickler, die sich bei der Konzeptualisierung, Prompt-Generierung oder komplexen textuellen Anweisungen auf KI verlassen, ist Apertus 1.5 ein überzeugendes Argument. Das Modell erreichte einen MT-Bench-Score von 87,0, knapp vor GPT-4o (86,1), und einen MMLU-Score von 75,3, womit es GPT-4o (74,5) übertraf. Diese Benchmarks deuten auf ein Modell hin, das ein nuancierteres Verständnis und eine bessere Generierung von Text ermöglicht, was sich direkt in eine ausgefeiltere und präzisere Kontrolle über Bild- und Videoausgaben übersetzt. Das bedeutet weniger Rätselraten beim Prompt Engineering und potenziell direktere Übersetzungen komplexer Ideen in visuelle Formen. Stellen Sie sich vor, Sie generieren eine komplexe Hintergrundgeschichte für einen KI-gesteuerten Charakter oder erstellen detaillierte Szenenbeschreibungen, die das Modell mit größerer Genauigkeit interpretiert.
Während die Textleistung entscheidend ist, ist das visuelle Verständnis eines multimodalen Modells für KI-Kunstschaffende von größter Bedeutung. Apertus 1.5 erreichte 79,5 bei MMMU und 73,1 bei MathVista, was es in eine Leistungskategorie vergleichbar mit Metas Llama 3 400B einordnet. Dieses Niveau an visueller Intelligenz bedeutet, dass das Modell visuelle Eingaben mit hoher Genauigkeit verarbeiten und interpretieren kann, eine entscheidende Funktion für Aufgaben wie Bild-zu-Bild-Transformationen, Stilübertragung oder sogar die Generierung neuer Bilder basierend auf komplexen visuellen Prompts. Ein Künstler könnte Apertus 1.5 beispielsweise ein Bild und einen Text-Prompt zuführen, um bestimmte Elemente zu verfeinern, wissend, dass das Modell beide Eingaben mit hoher Genauigkeit versteht. Dies könnte die Workflows für die Bilderzeugung und KI-Video erheblich beeinflussen.
Im Gegensatz zu proprietären Modellen ist der Open-Weight-Status von Apertus 1.5 ein erheblicher Vorteil für die KI-Kunst-Community. Er ermöglicht es Kreativen, das Modell herunterzuladen, zu inspizieren, zu optimieren und auf ihrer eigenen Hardware oder in bevorzugten Cloud-Umgebungen bereitzustellen. Dieses Maß an Zugang fördert größere kreative Freiheit und ermöglicht es Künstlern, das Modell an spezifische ästhetische Stile oder Nischenanwendungen anzupassen, ohne durch die Bedingungen oder Preise eines API-Anbieters eingeschränkt zu sein. Die Möglichkeit, mit benutzerdefinierten Datensätzen zu optimieren, öffnet Türen für die Entwicklung hochspezialisierter Kunstgeneratoren, was an die Anfänge von Open-Source-Fotowerkzeugen erinnert, bei denen Enthusiasten Software an ihre genauen Bedürfnisse anpassen konnten. Dies steht im Gegensatz zur undurchsichtigen Natur vieler kommerzieller Modelle, bei denen die inneren Abläufe verborgen bleiben. Eine breite Palette von Open-Weight-Modellen finden Sie in unserem Modellkatalog.
„Apertus 1.5 ist ein echtes multimodales Open-Weight-Modell, das von Grund auf auf einem riesigen Datensatz von 4,1 Billionen Text-Tokens und 5,2 Milliarden Bild-Tokens trainiert wurde.“
— Hugging Face Blog
Swiss AI beschreibt eine ausgeklügelte Trainingspipeline für Apertus 1.5, die vier Stufen des fortgesetzten Vortrainings umfasst, gefolgt von überwachtem Fine-Tuning (SFT), Long-Context SFT und verschiedenen Reinforcement-Learning-Techniken wie RLVR, DPO und SDPO. Dieser akribische Ansatz beim Training auf einem so riesigen Datensatz von Text- und Bild-Tokens (4,1 Billionen Text, 5,2 Milliarden Bilder) untermauert seine starke Leistung über verschiedene Modalitäten hinweg. Die Release Notes auf Hugging Face bieten weitere technische Details für diejenigen, die sich für die zugrunde liegende Architektur und Trainingsmethodik interessieren. Dieses Engagement für Transparenz und offenen Zugang könnte einen neuen Standard für die Modellentwicklung setzen und Künstlern Werkzeuge an die Hand geben, die nicht nur leistungsstark, sondern auch vollständig auditierbar und anpassbar sind.
