Інженер Hugging Face навчив мовну модель для написання коду створювати картини в акварельному стилі — не шляхом дообробки дифузійної моделі, а використовуючи навчання з підкріпленням для заохочення моделі писати кращі виклики draw() на Python. Результатом є робочий пайплайн, який будь-який практик із скромним GPU може відтворити, і він переосмислює саме поняття «генерації зображень».
Ключові висновки
- Експеримент Hugging Face використовує TRL (Transformer Reinforcement Learning) та OpenEnv для навчання LLM, що генерує код, малювати акварелі шляхом написання команд малювання на Python, а не передбачення пікселів.
- Функція винагороди поєднує двох суддів на основі моделей — проксі естетики та стилю — тобто чийсь навчений смак буквально вбудований у ціль оптимізації.
- Три окремі абляції (заміна пулу зображень, видалення шуму рендерера, вимкнення попарного судді) дали плоскі криві навчання; лише зміна самого тренера вплинула на метрику.
- Вихідний код кожного розгортання опублікований у супутньому датасеті, тому логіка мазків пензля повністю перевіряється — на відміну від латентного простору дифузійної моделі.
- Пайплайн працює на споживчому обладнанні, що робить його доступною малобюджетною альтернативою дообробці великих моделей генерації зображень для конкретного візуального стилю.
Як функція винагороди стає естетичним маніфестом
Основна механіка підкупає своєю простотою: модель пише код на Python, що викликає рендерер, рендерер створює зображення, а сигнал винагороди повідомляє моделі, наскільки добре виглядає це зображення. За даними Hugging Face Blog, два з чотирьох компонентів винагороди самі є нейронними моделями — одна оцінює естетичну якість, інша — відповідність акварельному стилю. Це означає, що функція винагороди — не правило; це проксі смаку людини, заморожений у вагах.
Варто зупинитися на цьому. Коли фотограф обирає плівку Ilford замість Kodak або художник тягнеться за берлінською лазур'ю, ця перевага є актом авторства. Тут авторство розподілене: інженер обрав моделі винагороди, моделі винагороди кодують чиїсь естетичні навчальні дані, а кодова модель вчиться задовольняти обидві. Отримані зображення несуть відбитки щонайменше трьох рівнів людського судження, жоден із яких не є повністю видимим у фінальному мазку пензля.
Для творців, які витратили час на генерацію зображень на Charmloop та боротьбу з мовою промптів для досягнення конкретного живописного стилю, цей пайплайн пропонує зовсім інший важіль. Замість того щоб описувати естетику словами, ви могли б у принципі закодувати її в моделі винагороди — і дозволити RL знайти код, який її відтворює.
Що насправді розкривають плоскі криві абляцій
Найбільш повчальна частина опису — це те, що не спрацювало. Три окремі експерименти — заміна пулу навчальних зображень, видалення шуму з рендерера та вимкнення попарного судді — кожен дав плоску криву винагороди. Запуск, який нарешті зрушив показник, змінив конфігурацію тренера, а не сигнал винагороди.
Це корисний негативний результат для всіх, хто будує власні RL-пайплайни для візуального виводу. Формування винагороди — очевидне місце для ітерацій, але динаміка навчання — розклади швидкості навчання, пакетування розгортань, штраф KL — може бути справжнім вузьким місцем. Це той вид важко здобутих деталей, що рідко з'являється у відшліфованих релізах моделей, і саме це робить цей пост у блозі практично ціннішим за більшість.
Перевірюваний мазок пензля
Дифузійні моделі непрозорі за своєю природою: латентний вектор перетворюється на пікселі через процес, що не піддається рядковій перевірці. Рендеринг на основі коду повністю інвертує це. Кожна картина в цьому експерименті має відповідний файл вихідного коду Python у опублікованому датасеті розгортань — ви можете прочитати, які саме криві були намальовані, в якому порядку та з якою непрозорістю.
Для художників, стурбованих документуванням процесу — провенансом, відтворюваністю, можливістю пояснити як було створено зображення — ця перевірюваність є справжньою структурною перевагою над латентною дифузією. Вона також відкриває шлях до перенесення стилю, що працює на алгоритмічному рівні, а не на рівні пікселів: поділіться кодом, а не вагами.
Творці, що досліджують ширший спектр моделей та стилів AI-арту, виявлять, що цей підхід займає власну категорію: повільніший для ітерацій, ніж промпт, але набагато більш інспектований, ніж LoRA. Команда Hugging Face опублікувала повне налаштування TRL та OpenEnv, тому поріг для експериментів нижчий, ніж здається — а посібники на Charmloop охоплюють основи промптингу, що залишаються актуальними навіть тоді, коли ваш «промпт» — це функція винагороди.
