Iris pisze o styku sztuki AI i kultury — o stylu, autorstwie i obrazach, które mają znaczenie.
Zainspirowała Cię ta historia? Zamień pomysł we własną sztukę AI w kilka sekund — zacznij za darmo, bez karty.
Zacznij za darmoWybierz towarzysza i poznaj jego zdanie na temat tej historii
Swiss AI zaprezentowało Apertus 1.5, otwarty, multimodalny model AI, który wyraźnie przewyższa GPT-4o od OpenAI w kilku kluczowych testach tekstowych i osiąga możliwości rozumowania wizualnego na równi z Llama 3 400B od Meta. To wydanie stanowi znaczący moment dla twórców, którzy priorytetowo traktują dostęp do potężnych, przejrzystych modeli dla swoich generatywnych przepływów pracy, oferując silną alternatywę dla systemów zamkniętych.
Dla artystów i deweloperów polegających na AI w zakresie konceptualizacji, generowania promptów lub złożonych instrukcji tekstowych, Apertus 1.5 stanowi przekonujący argument. Model osiągnął wynik MT-Bench 87.0, nieco wyprzedzając 86.1 GPT-4o, oraz wynik MMLU 75.3, przewyższając 74.5 GPT-4o. Te benchmarki sugerują model zdolny do bardziej niuansowanego rozumienia i generowania tekstu, co bezpośrednio przekłada się na bardziej wyrafinowaną i precyzyjną kontrolę nad wynikami obrazów i wideo. Oznacza to mniej zgadywania w inżynierii promptów i potencjalnie bardziej bezpośrednie tłumaczenie złożonych pomysłów na formę wizualną. Wyobraź sobie generowanie skomplikowanej historii dla postaci napędzanej AI lub tworzenie szczegółowych opisów scen, które model interpretuje z większą wiernością.
Apertus 1.5 demonstruje lepszą wydajność tekstową w porównaniu do GPT-4o i innych wiodących modeli w testach MT-Bench i MMLU.
Obraz: Hugging Face Blog
Chociaż wydajność tekstowa jest kluczowa, wizualne rozumienie modelu multimodalnego jest najważniejsze dla twórców sztuki AI. Apertus 1.5 uzyskał 79.5 punktów w MMMU i 73.1 w MathVista, co plasuje go w kategorii wydajności porównywalnej z Llama 3 400B od Meta. Ten poziom bystrości wizualnej oznacza, że model może przetwarzać i interpretować dane wizualne z dużą dokładnością, co jest kluczową cechą dla zadań takich jak transformacje obrazu na obraz, transfer stylu, a nawet generowanie nowych obrazów na podstawie złożonych promptów wizualnych. Na przykład, artysta mógłby podać Apertus 1.5 obraz i prompt tekstowy, aby dopracować konkretne elementy, wiedząc, że model rozumie oba wejścia z dużą wiernością. Może to znacząco wpłynąć na przepływy pracy dla generowania obrazów i wideo AI.
W przeciwieństwie do modeli własnościowych, status otwartej wagi Apertus 1.5 jest znaczącą korzyścią dla społeczności sztuki AI. Pozwala twórcom pobierać, sprawdzać, dostrajać i wdrażać model na własnym sprzęcie lub w preferowanych środowiskach chmurowych. Ten poziom dostępu sprzyja większej swobodzie twórczej, umożliwiając artystom dostosowanie modelu do konkretnych stylów estetycznych lub niszowych zastosowań bez ograniczeń wynikających z warunków lub cen dostawcy API. Możliwość dostrajania za pomocą niestandardowych zbiorów danych otwiera drzwi do tworzenia wysoce wyspecjalizowanych generatorów sztuki, co przypomina wczesne dni narzędzi fotograficznych open-source, gdzie entuzjaści mogli modyfikować oprogramowanie do swoich precyzyjnych potrzeb. Kontrastuje to z nieprzejrzystą naturą wielu modeli komercyjnych, gdzie wewnętrzne mechanizmy pozostają ukryte. Szeroką gamę modeli o otwartej wadze można znaleźć w naszym katalogu modeli.
„Apertus 1.5 to prawdziwy otwarty, multimodalny model, wytrenowany od podstaw na ogromnym zbiorze danych składającym się z 4.1 biliona tokenów tekstowych i 5.2 miliarda tokenów obrazów.”
— Blog Hugging Face
Swiss AI szczegółowo opisuje wyrafinowany potok treningowy dla Apertus 1.5, obejmujący cztery etapy kontynuowanego wstępnego treningu, a następnie nadzorowane dostrajanie (SFT), SFT z długim kontekstem oraz różne techniki uczenia ze wzmocnieniem, takie jak RLVR, DPO i SDPO. To skrupulatne podejście do treningu na tak ogromnym zbiorze danych zarówno tokenów tekstowych, jak i obrazów (4.1 biliona tekstu, 5.2 miliarda obrazów) stanowi podstawę jego silnej wydajności w różnych modalnościach. Notatki wydania na Hugging Face dostarczają dalszych technicznych szczegółów dla zainteresowanych podstawową architekturą i metodologią treningu. To zaangażowanie w przejrzystość i otwarty dostęp może ustanowić nowy standard dla rozwoju modeli, wyposażając artystów w narzędzia, które są nie tylko potężne, ale także w pełni audytowalne i konfigurowalne.
