Згенеровані ШІ зображення їжі поширюються в меню ресторанів і брендових кампаніях — і вони раз у раз виглядають неправильно в одних і тих самих конкретних аспектах: від схожої на черв'яків локшини до морозива, що нагадує шпаклівку.
Ключові висновки
- Генератори зображень ШІ стабільно дають збій на їжі, бо навчальні дані надмірно представлені стилізованими стоковими фотографіями, а не реальною подачею страв — тому результати тяжіють до неможливих текстур і пропорцій.
- Найпоширеніші режими збоїв — неправильні властивості матеріалів (наприклад, креветки з текстурою тіста для пончиків) і порушення структурної фізики (локшина, що зливається докупи, сир, який поводиться як мокрий бетон).
- Клієнти відкидають зображення їжі від ШІ частіше, ніж традиційну фотографію, згідно з репортажем The Verge — що робить економію коштів ілюзорною для багатьох брендів.
- Творці можуть зменшити ці артефакти, прив'язуючи підказки до конкретних кулінарних технік, реальних назв страв і схем освітлення з реальної фуд-фотографії, а не до загальних дескрипторів.
- Негативні підказки проти «глянцевих», «розтавлих» і «сюрреалістичних» текстур помітно зменшують найпоширеніші патерни збоїв у поточних моделях.
Конкретні візуальні збої — і чому вони повторюються
Детальний огляд зображень їжі від ШІ від The Verge каталогізує стабільне жахіття: креветки з текстурою пончика, сендвічі Рубен, що, здається, розкладаються, локшина, що зливається в єдину схожу на черв'яка масу, і випічка з поверхневим натягом мокрої глини. Це не випадкові збої. Вони випливають із того, як дифузійні моделі — клас ШІ, що генерує зображення шляхом ітеративного усунення шуму з поля пікселів — навчаються того, як виглядає їжа.
Дифузійні моделі навчаються на величезних наборах зображень, зібраних з мережі. Фуд-фотографія в мережі сильно тяжіє до ідеалізованих стокових знімків: гіпернасичених, сильно ретушованих і часто складених із кількох шарів. Модель вивчає статистичне середнє цих зображень, а не фізику того, як локшина тримає форму або як морозиво тане під студійним освітленням. Результат — виходи, що потрапляють у правдоподібну колірну палітру, але провалюються на матеріальній логіці: модель не знає, що креветки повинні мати певну прозорість або що шари круасана мають розшаровуватися певним чином.
Проблема перехресного забруднення посилює це. Оскільки зображення їжі в навчальних наборах часто мають нечіткі теги, внутрішнє представлення моделі понять «вершковий» або «волокнистий» може перетікати між категоріями. Саме тому виходить курятина, що виглядає волокнистою, як мокрий папір, або морозиво з поверхневими властивостями будівельної піни.
Що насправді може виправити підказка
Для творців є хороша новина: більшість цих режимів збоїв можна усунути на рівні підказки, не чекаючи покращення моделей.
Найефективніше єдине коригування — це конкретність посилання. Замість підказки «миска рамену» вкажіть регіональний стиль («хаката тонкоцу рамен»), непрозорість бульйону («каламутний бульйон зі свинячих кісток») і товщину локшини («тонка пряма локшина, щільна текстура»). Моделі працюють краще, коли підказка прив'язана до реальної кулінарної традиції, яка дійсно представлена в навчальних даних, а не до загальної категорії, що усереднюється по несумісних прикладах.
Дескриптори освітлення, запозичені з реальної фуд-фотографії — «розсіяний верхній софтбокс, легка тінь ліворуч» — перевершують розпливчасті терміни на кшталт «професійний» або «апетитний», для яких у моделі немає стабільного візуального референта.
Негативні підказки тут важливіші, ніж у більшості інших категорій зображень. Явне виключення дескрипторів текстури «сюрреалістичний», «глянцевий», «розтавлий», «перенасичений» і «пластиковий» скорочує найпоширеніші типи артефактів. Якщо ваш генератор підтримує зважені підказки, зниження ваги концепції «ідеальної» їжі (яку модель асоціює з надмірно ретушованими стоковими фото, що й спричинили проблему) може зсунути результати до більш натуралістичних.
Стильові посилання також допомагають. Орієнтація на естетику документальної фотографії конкретної кухні — японська фуд-фотографія для журналів має виразний, добре представлений стиль у більшості навчальних наборів — дає моделі вужчий розподіл для вибірки.
Для творців, що створюють персонажів або сцени, пов'язані з їжею, у генераторі зображень Charmloop діють ті самі принципи: прив'язуйте елементи їжі до конкретних, названих страв і реальних кулінарних контекстів, а не до абстрактних харчових категорій. У розділі посібників є детальніші огляди технік підказок, що охоплюють конкретність і негативні підказки.
Основна проблема моделі — навчальні дані, що не відображають фізику матеріалів, — складніша для виправлення і потребує змін на рівні набору даних і архітектури, які окремі творці не можуть контролювати. Але обхідні шляхи на рівні підказок реальні й придатні до використання вже сьогодні — і саме це робить розуміння першопричини вартим зусиль.
