Ирис пишет о том, где ИИ-искусство встречается с культурой: стиль, авторство и образы, которые имеют значение.
Вдохновила эта история? Преврати идею в собственное ИИ-искусство за секунды — бесплатный старт, без банковской карты.
Начать бесплатноВыбери компаньона и узнай его мнение об этой истории
Swiss AI представила Apertus 1.5, открытую мультимодальную модель ИИ, которая наглядно превосходит GPT-4o от OpenAI по нескольким ключевым текстовым бенчмаркам и достигает возможностей визуального мышления наравне с Llama 3 400B от Meta. Этот релиз знаменует собой важный момент для создателей, которые отдают приоритет доступу к мощным, прозрачным моделям для своих генеративных рабочих процессов, предлагая сильную альтернативу закрытым системам.
Для художников и разработчиков, полагающихся на ИИ для концептуализации, генерации подсказок или сложных текстовых инструкций, Apertus 1.5 представляет собой убедительный аргумент. Модель достигла оценки MT-Bench 87,0, что немного опережает 86,1 балла GPT-4o, и оценки MMLU 75,3, превосходя 74,5 балла GPT-4o. Эти бенчмарки предполагают модель, способную к более тонкому пониманию и генерации текста, что напрямую приводит к более сложному и точному контролю над выводами изображений и видео. Это означает меньше догадок при проектировании подсказок и потенциально более прямые преобразования сложных идей в визуальную форму. Представьте себе создание сложной истории для персонажа, управляемого ИИ, или создание подробных описаний сцен, которые модель интерпретирует с большей точностью.
Apertus 1.5 демонстрирует превосходную производительность текста по сравнению с GPT-4o и другими ведущими моделями по бенчмаркам MT-Bench и MMLU.
Изображение: Hugging Face Blog
Хотя производительность текста имеет решающее значение, визуальное понимание мультимодальной модели является первостепенным для создателей ИИ-искусства. Apertus 1.5 набрала 79,5 балла по MMMU и 73,1 балла по MathVista, что ставит ее в один ряд с Llama 3 400B от Meta. Этот уровень визуального восприятия означает, что модель может обрабатывать и интерпретировать визуальные входы с высокой точностью, что является критически важной функцией для таких задач, как преобразования изображения в изображение, перенос стиля или даже генерация новых изображений на основе сложных визуальных подсказок. Например, художник может передать Apertus 1.5 изображение и текстовую подсказку для уточнения конкретных элементов, зная, что модель понимает оба входа с высокой точностью. Это может значительно повлиять на рабочие процессы для генерации изображений и ИИ-видео.
В отличие от проприетарных моделей, статус открытого веса Apertus 1.5 является значительным преимуществом для сообщества ИИ-искусства. Он позволяет создателям загружать, проверять, тонко настраивать и развертывать модель на своем собственном оборудовании или в предпочтительных облачных средах. Этот уровень доступа способствует большей творческой свободе, позволяя художникам адаптировать модель к конкретным эстетическим стилям или нишевым приложениям, не будучи ограниченными условиями или ценами поставщика API. Возможность тонкой настройки с помощью пользовательских наборов данных открывает двери для разработки высокоспециализированных генераторов искусства, что напоминает ранние дни инструментов для фотографии с открытым исходным кодом, когда энтузиасты могли изменять программное обеспечение в соответствии со своими точными потребностями. Это контрастирует с непрозрачностью многих коммерческих моделей, где внутренние механизмы остаются скрытыми. Вы можете изучить широкий спектр моделей с открытым весом в нашем каталоге моделей.
«Apertus 1.5 — это настоящая мультимодальная модель с открытым весом, обученная с нуля на огромном наборе данных из 4,1 триллиона текстовых токенов и 5,2 миллиарда токенов изображений».
— Блог Hugging Face
Swiss AI подробно описывает сложный конвейер обучения для Apertus 1.5, включающий четыре этапа непрерывного предварительного обучения, за которым следуют контролируемая тонкая настройка (SFT), SFT с длинным контекстом и различные методы обучения с подкреплением, такие как RLVR, DPO и SDPO. Этот тщательный подход к обучению на таком обширном наборе данных как текстовых, так и изобразительных токенов (4,1 триллиона текстовых, 5,2 миллиарда изобразительных) лежит в основе его высокой производительности по всем модальностям. Заметки о выпуске на Hugging Face предоставляют дополнительную техническую глубину для тех, кто интересуется базовой архитектурой и методологией обучения. Эта приверженность прозрачности и открытому доступу может установить новый стандарт для разработки моделей, предоставляя художникам инструменты, которые не только мощны, но и полностью проверяемы и настраиваемы.
