Айріс пише про те, де ШІ-мистецтво зустрічається з культурою: стиль, авторство та образи, які мають значення.
Надихнула ця історія? Перетвори ідею на власне ШІ-мистецтво за лічені секунди — безкоштовний старт, без банківської картки.
Почати безкоштовноОбери компаньйона і дізнайся його думку про цю історію
Swiss AI представила Apertus 1.5 – відкриту мультимодальну модель ШІ, яка демонструє кращі результати, ніж GPT-4o від OpenAI, за кількома ключовими текстовими бенчмарками та досягає можливостей візуального мислення, порівнянних з Llama 3 400B від Meta. Цей реліз знаменує важливий момент для творців, які надають пріоритет доступу до потужних, прозорих моделей для своїх генеративних робочих процесів, пропонуючи сильну альтернативу закритим системам.
Для художників та розробників, які покладаються на ШІ для концептуалізації, генерації підказок або складних текстових інструкцій, Apertus 1.5 є переконливим варіантом. Модель досягла 87.0 балів на MT-Bench, трохи випередивши 86.1 у GPT-4o, та 75.3 балів на MMLU, перевершивши 74.5 у GPT-4o. Ці бенчмарки свідчать про модель, здатну до більш тонкого розуміння та генерації тексту, що безпосередньо перекладається на більш складний та точний контроль над виходами зображень та відео. Це означає менше здогадок при інженерії підказок та потенційно більш прямий переклад складних ідей у візуальну форму. Уявіть собі генерацію складної історії для персонажа, керованого ШІ, або створення детальних описів сцен, які модель інтерпретує з більшою точністю.
Apertus 1.5 демонструє вищу текстову продуктивність порівняно з GPT-4o та іншими провідними моделями за бенчмарками MT-Bench та MMLU.
Зображення: Hugging Face Blog
Хоча текстова продуктивність є вирішальною, візуальне розуміння мультимодальної моделі є першочерговим для творців ШІ-мистецтва. Apertus 1.5 набрала 79.5 балів на MMMU та 73.1 на MathVista, що ставить її в один ряд з Llama 3 400B від Meta. Цей рівень візуальної кмітливості означає, що модель може обробляти та інтерпретувати візуальні вхідні дані з високою точністю, що є критично важливою функцією для таких завдань, як перетворення зображення в зображення, перенесення стилю або навіть генерація нових зображень на основі складних візуальних підказок. Наприклад, художник може надати Apertus 1.5 зображення та текстову підказку для уточнення конкретних елементів, знаючи, що модель розуміє обидва вхідні дані з високою точністю. Це може значно вплинути на робочі процеси для генерації зображень та ШІ-відео.
На відміну від пропрієтарних моделей, статус відкритої ваги Apertus 1.5 є значною перевагою для спільноти ШІ-мистецтва. Він дозволяє творцям завантажувати, перевіряти, доналаштовувати та розгортати модель на власному обладнанні або в обраних хмарних середовищах. Цей рівень доступу сприяє більшій творчій свободі, дозволяючи художникам адаптувати модель до конкретних естетичних стилів або нішевих застосувань, не обмежуючись умовами або цінами постачальника API. Можливість доналаштування за допомогою власних наборів даних відкриває двері для розробки високоспеціалізованих генераторів мистецтва, що нагадує ранні дні інструментів відкритого вихідного коду для фотографії, де ентузіасти могли модифікувати програмне забезпечення відповідно до своїх точних потреб. Це контрастує з непрозорою природою багатьох комерційних моделей, де внутрішні механізми залишаються прихованими. Ви можете дослідити широкий спектр моделей з відкритою вагою в нашому каталозі моделей.
«Apertus 1.5 – це справжня мультимодальна модель з відкритою вагою, навчена з нуля на величезному наборі даних з 4.1 трильйона текстових токенів та 5.2 мільярда токенів зображень.»
— Hugging Face Blog
Swiss AI детально описує складний конвеєр навчання для Apertus 1.5, що включає чотири етапи продовженого попереднього навчання, за яким слідує кероване доналаштування (SFT), SFT з довгим контекстом та різні методи навчання з підкріпленням, такі як RLVR, DPO та SDPO. Цей ретельний підхід до навчання на такому величезному наборі даних як текстових, так і візуальних токенів (4.1 трильйона текстових, 5.2 мільярда візуальних) лежить в основі її високої продуктивності в різних модальностях. Примітки до випуску на Hugging Face надають додаткову технічну глибину для тих, хто цікавиться базовою архітектурою та методологією навчання. Ця прихильність до прозорості та відкритого доступу може встановити новий стандарт для розробки моделей, надаючи художникам інструменти, які є не тільки потужними, але й повністю перевіряються та налаштовуються.
