Iris schrijft waar AI-kunst en cultuur samenkomen — stijl, auteurschap en de beelden die ertoe doen.
Geïnspireerd door dit verhaal? Maak van het idee in seconden je eigen AI-kunst — gratis beginnen, geen kaart nodig.
Gratis aan de slagKies een companion en ontdek wat die van dit verhaal vindt
Swiss AI heeft Apertus 1.5 onthuld, een open-weight multimodaal AI-model dat aantoonbaar OpenAI's GPT-4o overtreft op verschillende belangrijke tekstgebaseerde benchmarks en visuele redeneermogelijkheden behaalt die vergelijkbaar zijn met Meta's Llama 3 400B. Deze release markeert een belangrijk moment voor makers die prioriteit geven aan toegang tot krachtige, transparante modellen voor hun generatieve workflows, en biedt een sterk alternatief voor closed-source systemen.
Voor kunstenaars en ontwikkelaars die afhankelijk zijn van AI voor conceptualisatie, promptgeneratie of complexe tekstuele instructies, biedt Apertus 1.5 een overtuigende case. Het model behaalde een MT-Bench-score van 87.0, iets hoger dan GPT-4o's 86.1, en een MMLU-score van 75.3, waarmee het GPT-4o's 74.5 overtrof. Deze benchmarks suggereren een model dat in staat is tot een meer genuanceerd begrip en generatie van tekst, wat zich direct vertaalt naar een meer geavanceerde en precieze controle over beeld- en video-uitvoer. Dit betekent minder giswerk bij prompt engineering en potentieel directere vertalingen van complexe ideeën naar visuele vorm. Stel je voor dat je ingewikkelde achtergrondverhalen genereert voor een AI-gestuurd personage of gedetailleerde scènebeschrijvingen maakt die het model met grotere getrouwheid interpreteert.
Apertus 1.5 toont superieure tekstprestaties vergeleken met GPT-4o en andere toonaangevende modellen op MT-Bench- en MMLU-benchmarks.
Afbeelding: Hugging Face Blog
Hoewel tekstprestaties cruciaal zijn, is het visuele begrip van een multimodaal model van het grootste belang voor AI-kunstmakers. Apertus 1.5 scoorde 79.5 op MMMU en 73.1 op MathVista, waarmee het in een prestatieklasse vergelijkbaar met Meta's Llama 3 400B valt. Dit niveau van visueel inzicht betekent dat het model visuele inputs met hoge nauwkeurigheid kan verwerken en interpreteren, een cruciale functie voor taken zoals beeld-naar-beeld-transformaties, stijltransfer, of zelfs het genereren van nieuwe afbeeldingen op basis van complexe visuele prompts. Een kunstenaar zou bijvoorbeeld Apertus 1.5 een afbeelding en een tekstprompt kunnen geven om specifieke elementen te verfijnen, wetende dat het model beide inputs met hoge getrouwheid begrijpt. Dit kan een aanzienlijke impact hebben op workflows voor beeldgeneratie en AI-video.
In tegenstelling tot propriëtaire modellen is de open-weight status van Apertus 1.5 een aanzienlijk voordeel voor de AI-kunstgemeenschap. Het stelt makers in staat het model te downloaden, te inspecteren, te fine-tunen en te implementeren op hun eigen hardware of voorkeurscloudomgevingen. Dit niveau van toegang bevordert grotere creatieve vrijheid, waardoor kunstenaars het model kunnen aanpassen aan specifieke esthetische stijlen of nichetoepassingen zonder te worden beperkt door de voorwaarden of prijzen van een API-provider. De mogelijkheid om te fine-tunen met aangepaste datasets opent deuren voor de ontwikkeling van zeer gespecialiseerde kunstgeneratoren, wat doet denken aan de vroege dagen van open-source fotografietools waar liefhebbers software konden aanpassen aan hun precieze behoeften. Dit staat in contrast met de ondoorzichtige aard van veel commerciële modellen, waar de interne werking verborgen blijft. U kunt een breed scala aan open-weight modellen verkennen in onze modelcatalogus.
„Apertus 1.5 is een echt open-weight multimodaal model, helemaal opnieuw getraind op een enorme dataset van 4.1 biljoen tekst-tokens en 5.2 miljard afbeeldings-tokens.”
— Hugging Face Blog
Swiss AI beschrijft een geavanceerde trainingspijplijn voor Apertus 1.5, bestaande uit vier stadia van voortgezette pretraining, gevolgd door supervised fine-tuning (SFT), long-context SFT en verschillende reinforcement learning-technieken zoals RLVR, DPO en SDPO. Deze nauwgezette benadering van training op zo'n enorme dataset van zowel tekst- als afbeeldings-tokens (4.1 biljoen tekst, 5.2 miljard afbeeldingen) ligt ten grondslag aan de sterke prestaties over verschillende modaliteiten. De releasenotes op Hugging Face bieden verdere technische diepgang voor degenen die geïnteresseerd zijn in de onderliggende architectuur en trainingsmethodologie. Deze toewijding aan transparantie en open toegang zou een nieuwe standaard kunnen zetten voor modelontwikkeling, waardoor kunstenaars worden voorzien van tools die niet alleen krachtig zijn, maar ook volledig controleerbaar en aanpasbaar.
