Надихнула ця історія? Перетвори ідею на власне ШІ-мистецтво за лічені секунди — безкоштовний старт, без банківської картки.
Allen Institute for AI випустив DiScoFormer — уніфіковану архітектуру трансформера, яка обробляє як моделювання щільності, так і генерацію на основі оцінок в одній моделі, потенційно спрощуючи складні багатомодельні конвеєри, які зараз використовуються в генерації зображень ШІ.
• DiScoFormer обробляє як оцінку щільності, так і обчислення оцінок в одному трансформері, усуваючи потребу в окремих спеціалізованих моделях у робочих процесах генерації • Архітектура працює з різними розподілами даних, роблячи її адаптивною для різних завдань і доменів генерації зображень • Ранні результати свідчать, що уніфікований підхід зберігає якість, водночас зменшуючи обчислювальні витрати порівняно з традиційними багатомодельними налаштуваннями • Модель представляє зсув до консолідованих архітектур, які можуть спростити виведення та навчання для платформ ШІ-мистецтва
Традиційна генерація зображень ШІ покладається на окремі моделі для оцінки щільності та обчислення оцінок — два математично різні, але пов'язані процеси, які керують тим, як зображення створюються з шуму. DiScoFormer порушує цю конвенцію, навчаючи один трансформер одночасно виконувати обидва завдання.
Уніфікована архітектура обробляє функції щільності та оцінки через спільні шари уваги, дозволяючи моделі вивчати зв'язки між цими функціями, які окремі моделі не можуть зафіксувати. Цей вибір дизайну вирішує давню неефективність у конвеєрах генеративного ШІ, де підтримка кількох спеціалізованих моделей збільшує використання пам'яті та обчислювальні витрати.
Згідно з Hugging Face Blog, DiScoFormer демонструє стабільну продуктивність у різних розподілах даних, від природних зображень до синтетичних наборів даних. Ця гнучкість важлива для творців, які працюють з різноманітними візуальними стилями або навчають власні моделі на специфічних художніх доменах.
Здатність моделі адаптувати свої обчислення щільності та оцінок на основі базового розподілу даних означає, що вона потенційно може замінити кілька спеціалізованих моделей у виробничих робочих процесах. Для платформ, які виконують виведення в масштабі, ця консолідація може перетворитися на значну економію коштів і швидші часи генерації.
Уніфікований підхід може змінити те, як платформи генерації зображень ШІ архітектурують свої системи. Поточні налаштування часто вимагають ретельної оркестрації між моделями щільності, мережами оцінок і алгоритмами вибірки — кожна з власним відбитком пам'яті та обчислювальними вимогами.
Одномодельний дизайн DiScoFormer спрощує цю архітектуру, потенційно зменшуючи інженерну складність розгортання нових можливостей генерації. Для творців це може означати швидші цикли ітерацій при експериментуванні з різними техніками генерації або навчанні власних моделей на своїх творах мистецтва.
Дослідження також припускає, що уніфіковані архітектури можуть розблокувати нові техніки генерації, які використовують тісний зв'язок між обчисленнями щільності та оцінок — можливості, яких окремі моделі не можуть досягти через свої ізольовані процеси навчання.
Трансформер обробляє як запити щільності, так і запити оцінок через той самий механізм уваги, використовуючи спеціалізовані вихідні головки для розрізнення між двома завданнями. Ця спільна обробка дозволяє моделі розвивати внутрішні представлення, які ефективно служать обом функціям.
Реалізація Allen Institute демонструє, що цей уніфікований підхід не жертвує якістю заради зручності — одна модель відповідає або перевершує продуктивність еквівалентних окремих моделей, використовуючи менше загальних параметрів.
Дослідження відкриває питання про те, чи можуть інші компоненти генеративного ШІ бути подібним чином консолідовані, потенційно ведучи до ще більш спрощених архітектур для завдань генерації зображень, відео та мультимодальних завдань.
