Ведущие лаборатории ИИ не имеют публичных планов сдерживания мошеннических моделей, показало исследование

Новая отраслевая оценка показывает, что ведущие лаборатории ИИ — те же компании, чьи модели питают генераторы изображений, видеоинструменты и творческие API, которые миллионы создателей контента используют ежедневно — практически не имеют публично задокументированных планов того, что делать, если одна из их моделей начнет вести себя опасным, непредусмотренным образом.

Ключевые выводы

• Оценка стандарта Control от Guidelight показала, что передовые лаборатории ИИ в основном не реализуют шесть приоритетных практик для сдерживания мошеннических или неправильно настроенных моделей.
• Оценка основана исключительно на публично доступной информации — это означает, что у лабораторий могут быть внутренние планы, но они их не раскрывают.
• Это важно для создателей контента, поскольку те же базовые модели, которые управляют генерацией изображений и ИИ-компаньонами, являются системами без опубликованных протоколов сдерживания.
• OpenAI расформировала свою команду по подготовке к безопасности ИИ в прошлом месяце, согласно предыдущему отчету Charmloop, что усугубляет беспокойство.
• Пробелы в инфраструктуре безопасности могут напрямую привести к внезапным изменениям поведения модели, сбоям или ограничениям возможностей, которые нарушают творческие рабочие процессы.

Что на самом деле измерял стандарт Control от Guidelight

Отчет поступил от Guidelight, которая оценила, соответствуют ли передовые лаборатории шести приоритетным практикам в своем стандарте Control — структуре для оценки того, может ли компания обнаружить, изолировать и отключить модель, которая начинает делать то, чего не должна. Согласно TechCrunch, оценка основана только на публично доступной информации, что само по себе является проблемой: у лабораторий могут быть внутренние протоколы, но они не говорят, что это такое.

Различие между «отсутствием плана» и «отсутствием публичного плана» имеет значение, но не настолько, как может показаться. Если лаборатория не может описать свой подход к сдерживанию, регуляторы, аудиторы и разработчики, которые строят поверх этих API, также не могут его проверить. Для создателя контента, который зависит от конкретной модели, чтобы оставаться последовательным в проекте — тот же стиль, то же поведение, тот же диапазон выходных данных — эта непрозрачность является практической ответственностью, а не просто политической абстракцией.

Риск рабочего процесса, о котором никто не говорит

Подумайте о том, как на самом деле выглядит «мошенническое поведение модели» с места создателя контента. Это не обязательно научно-фантастический сценарий. Это может быть модель, которая начинает отклонять промпты, которые она ранее принимала, или та, которая меняет свои эстетические настройки по умолчанию в середине кампании, потому что обновление безопасности было внедрено без уведомления. Это может быть API, который начинает возвращать неожиданные результаты, потому что патч выравнивания был развернут реактивно, а не планово.

Такого рода нарушения уже знакомы. Сбой Grok Lite с бессмысленными ответами ранее в этом году показал, как быстро неисправность модели каскадом распространяется на сломанные творческие конвейеры для всех, кто использует ее для генерации контента. Протоколы сдерживания мошеннических моделей — или их отсутствие — это восходящая версия этой проблемы.

Если вы запускаете конвейер персонажной графики или пакетные рендеры через сторонний API, отсутствие опубликованных планов сдерживания означает, что у вас нет способа предвидеть, как лаборатория отреагирует на инцидент, как долго модель может быть офлайн, или будет ли она откачена назад, переобучена или тихо заменена. Практичный ход — поддерживать хотя бы одну резервную модель в своем стеке — что-то, что вы можете заменить, не перестраивая свой рабочий процесс генерации изображений с нуля.

Что лаборатории могли бы делать — и не делают

Структура Guidelight требует таких вещей, как: задокументированные триггеры, которые запускают отключение модели, четкие цепочки полномочий для решений о сдерживании и регулярные учения. Ничего из этого не является экзотическим. Это тот вид планирования реагирования на инциденты, который имела бы любая инфраструктурная команда, управляющая критически важными сервисами. Тот факт, что лаборатории, создающие одни из наиболее широко используемых творческих инструментов на планете, не опубликовали эквивалентные планы, является реальным пробелом.

Некоторые лаборатории утверждают, что публикация деталей сдерживания сама по себе может быть риском безопасности — рассказывая плохим актерам, каких триггеров избегать. Это законное напряжение, но оно не объясняет, почему высокоуровневые структуры не могут быть переданы. Anthropic была более прозрачной, чем большинство, в отношении своих руководящих принципов поведения модели, но даже там оценка Guidelight выявляет пробелы.

Для создателей контента, выбирающих, на каких платформах и API строить, это исследование добавляет новую переменную: прозрачность инфраструктуры безопасности теперь является критерием выбора, а не просто фоновой заботой. Проверьте каталог моделей при оценке вариантов и учтите, опубликовала ли базовая лаборатория что-то значимое о том, как она обрабатывает инциденты с моделями — потому что следующий — это вопрос когда, а не если.