Элиас простым языком объясняет исследования, стоящие за заголовками.
Пошаговые гайды о промптах, стилях и о том, как выжать максимум из генерации изображений ИИ.
Читать гайдыВыбери компаньона и узнай его мнение об этой истории
Изображения еды, созданные ИИ, распространяются по меню ресторанов и брендовым кампаниям — и они продолжают выглядеть неправильно одними и теми же специфическими способами, от червеобразной лапши до мороженого, которое выглядит как шпаклевка.
Глубокий взгляд The Verge на изображения еды от ИИ каталогизирует последовательный ужас: креветки с текстурой пончиков, сэндвичи Рубен, которые кажутся разлагающимися, лапша, которая сливается в единые червеобразные массы, и выпечка с поверхностным натяжением мокрой глины. Это не случайные сбои. Они следуют из того, как диффузионные модели — класс ИИ, который генерирует изображения путем итеративного удаления шума из поля пикселей — изучают, как выглядит еда.
Диффузионные модели обучаются на огромных наборах изображений, собранных из интернета. Фуд-фотография в интернете сильно склоняется к идеализированным стоковым изображениям: гиперсатурированным, сильно отретушированным и часто композитным. Модель изучает статистическое среднее этих изображений, а не физику того, как лапша держит свою форму или как мороженое тает под студийным светом. Результат — это выходы, которые попадают в правдоподобную цветовую палитру, но терпят неудачу в материальной логике — модель не знает, что креветки должны иметь определенную прозрачность, или что слои круассана должны разделяться определенным образом.
Проблема перекрестного загрязнения усугубляет это. Поскольку изображения еды в обучающих наборах часто помечены свободно, внутреннее представление модели о «кремовом» или «волокнистом» может просачиваться между категориями. Вот почему вы получаете курицу, которая выглядит волокнистой, как мокрая бумага, или мороженое, которое имеет поверхностные свойства строительной пены.
Хорошая новость для создателей заключается в том, что большинство этих режимов отказа можно решить на уровне промпта, не дожидаясь улучшений модели.
Самая эффективная корректировка — это специфичность ссылки. Вместо промпта «миска рамена» укажите региональный стиль («рамен тонкоцу Хаката»), непрозрачность бульона («мутный бульон из свиных костей») и толщину лапши («тонкая прямая лапша, плотная текстура»). Модели работают лучше, когда промпт привязывается к реальной кулинарной традиции, которая действительно содержится в обучающих данных, а не к общей категории, которая усредняется по несовместимым примерам.
Дескрипторы освещения, заимствованные из реальной фуд-фотографии — «рассеянный верхний софтбокс, легкая тень слева» — превосходят расплывчатые термины вроде «профессиональный» или «аппетитный», для которых у модели нет последовательного визуального референта.
Негативные промпты здесь важнее, чем в большинстве других категорий изображений. Явное исключение дескрипторов текстуры «сюрреалистичный», «глянцевый», «тающий», «пересыщенный» и «пластиковый» сокращает наиболее распространенные типы артефактов. Если ваш генератор поддерживает взвешенный промптинг, снижение веса концепции «идеальных» изображений еды (которые модель ассоциирует с чрезмерно отретушированными стоковыми фотографиями, вызвавшими проблему) может сдвинуть результаты к более натуралистичным.
Стилевые ссылки тоже помогают. Промптинг в сторону эстетики документальной фотографии конкретной кухни — японская фуд-фотография для журналов имеет отчетливый, хорошо представленный стиль в большинстве обучающих наборов — дает модели более узкое распределение для выборки.
Для создателей, строящих персонажей или сцены, связанные с едой, на генераторе изображений Charmloop, применяются те же принципы: привязывайте элементы еды к конкретным, названным блюдам и реальным кулинарным контекстам, а не к абстрактным категориям еды. В разделе руководств есть более широкие пошаговые инструкции по технике промптинга, которые более подробно охватывают специфичность и негативный промптинг.
Основная проблема модели — обучающие данные, которые не захватывают физику материалов — это более сложное исправление, требующее изменений на уровне набора данных и архитектуры, которые отдельные создатели не могут контролировать. Но обходные пути на уровне промпта реальны и применимы сегодня, что делает понимание первопричины стоящим усилий.
