Iris racconta dove l'arte IA incontra la cultura: stile, paternità delle opere e le immagini che contano.
Ti ha ispirato questa storia? Trasforma l’idea nella tua arte con IA in pochi secondi: inizi gratis, senza carta.
Inizia gratisScegli un compagno e scopri cosa ne pensa di questa storia
Swiss AI ha presentato Apertus 1.5, un modello AI multimodale open-weight che supera in modo dimostrabile il GPT-4o di OpenAI su diversi benchmark chiave basati su testo e raggiunge capacità di ragionamento visivo alla pari con Llama 3 400B di Meta. Questa release segna un momento significativo per i creatori che danno priorità all'accesso a modelli potenti e trasparenti per i loro flussi di lavoro generativi, offrendo una forte alternativa ai sistemi closed-source.
Per artisti e sviluppatori che si affidano all'AI per la concettualizzazione, la generazione di prompt o istruzioni testuali complesse, Apertus 1.5 presenta un caso convincente. Il modello ha raggiunto un punteggio MT-Bench di 87.0, leggermente superiore all'86.1 di GPT-4o, e un punteggio MMLU di 75.3, superando il 74.5 di GPT-4o. Questi benchmark suggeriscono un modello capace di una comprensione e generazione del testo più sfumata, che si traduce direttamente in un controllo più sofisticato e preciso sugli output di immagini e video. Ciò significa meno congetture nell'ingegneria dei prompt e potenzialmente traduzioni più dirette di idee complesse in forma visiva. Immaginate di generare una lore intricata per un personaggio basato su AI o di creare descrizioni di scene dettagliate che il modello interpreta con maggiore fedeltà.
Apertus 1.5 dimostra prestazioni testuali superiori rispetto a GPT-4o e altri modelli leader nei benchmark MT-Bench e MMLU.
Immagine: Hugging Face Blog
Sebbene le prestazioni testuali siano cruciali, la comprensione visiva di un modello multimodale è fondamentale per i creatori di arte AI. Apertus 1.5 ha ottenuto un punteggio di 79.5 su MMMU e 73.1 su MathVista, posizionandolo in una fascia di prestazioni paragonabile a Llama 3 400B di Meta. Questo livello di acume visivo significa che il modello può elaborare e interpretare input visivi con alta precisione, una caratteristica critica per attività come trasformazioni da immagine a immagine, trasferimento di stile o persino la generazione di nuove immagini basate su prompt visivi complessi. Ad esempio, un artista potrebbe fornire ad Apertus 1.5 un'immagine e un prompt testuale per affinare elementi specifici, sapendo che il modello comprende entrambi gli input con alta fedeltà. Ciò potrebbe avere un impatto significativo sui flussi di lavoro per la generazione di immagini e il video AI.
A differenza dei modelli proprietari, lo status open-weight di Apertus 1.5 è un vantaggio significativo per la comunità dell'arte AI. Consente ai creatori di scaricare, ispezionare, ottimizzare e distribuire il modello sul proprio hardware o negli ambienti cloud preferiti. Questo livello di accesso favorisce una maggiore libertà creativa, consentendo agli artisti di adattare il modello a stili estetici specifici o applicazioni di nicchia senza essere vincolati dai termini o dai prezzi di un fornitore di API. La capacità di ottimizzare con set di dati personalizzati apre le porte allo sviluppo di generatori d'arte altamente specializzati, riecheggiando i primi giorni degli strumenti di fotografia open-source in cui gli appassionati potevano modificare il software in base alle loro precise esigenze. Questo contrasta con la natura opaca di molti modelli commerciali, dove il funzionamento interno rimane nascosto. Puoi esplorare una vasta gamma di modelli open-weight nel nostro catalogo modelli.
«Apertus 1.5 è un vero modello multimodale open-weight, addestrato da zero su un enorme set di dati di 4.1 trilioni di token di testo e 5.2 miliardi di token di immagine.»
— Hugging Face Blog
Swiss AI descrive una sofisticata pipeline di addestramento per Apertus 1.5, che prevede quattro fasi di pre-addestramento continuo, seguite da fine-tuning supervisionato (SFT), SFT a contesto lungo e varie tecniche di apprendimento per rinforzo come RLVR, DPO e SDPO. Questo approccio meticoloso all'addestramento su un così vasto set di dati di token di testo e immagine (4.1 trilioni di testo, 5.2 miliardi di immagini) è alla base delle sue forti prestazioni su tutte le modalità. Le note di rilascio su Hugging Face forniscono ulteriori dettagli tecnici per coloro che sono interessati all'architettura sottostante e alla metodologia di addestramento. Questo impegno per la trasparenza e l'accesso aperto potrebbe stabilire un nuovo standard per lo sviluppo di modelli, fornendo agli artisti strumenti che non sono solo potenti ma anche completamente verificabili e personalizzabili.
