Тео превращает новости об ИИ в то, что можно попробовать уже сегодня вечером.
Получай на почту главные истории недели об ИИ и ИИ-арте — отобранные, краткие, бесплатно.
Бесплатно. Отписаться можно в любой момент.
Выбери компаньона и узнай его мнение об этой истории
OpenAI ликвидировала команду по готовности в конце прошлого месяца — об этом сообщает Financial Times. Внутреннее подразделение, в чьи задачи входила оценка серьёзных рисков моделей и разработка механизмов их сдерживания, прекратило существование.
Команда OpenAI по готовности, оценивавшая катастрофические риски моделей, была распущена в конце прошлого месяца по данным Financial Times.
Изображение: The Verge / The Verge AI
The Verge сообщает, что ответственность за эту работу передаётся другим командам, однако OpenAI публично не уточнила, какие именно функции и к кому переходят. Эта непрозрачность имеет значение: команда по готовности была специально создана для стресс-тестирования передовых моделей в условиях наихудших сценариев — включая возможность автономного взлома внешних систем моделью — до их выпуска.
Команда по готовности находилась на стыке исследований и развёртывания, проводя структурированные оценки наиболее мощных моделей OpenAI для выявления катастрофических сбоев до публичного релиза. Можно представить её как специализированное подразделение красной команды с мандатом выяснять, способна ли та или иная модель, например, помочь в создании биологического оружия или совершать автономные вредоносные действия в интернете. Это не гипотетические формулировки — именно таковы были реальные категории оценки команды.
Для создателей ИИ-контента это несколько шагов от промпта, который вы вводили сегодня утром. Но модели, с помощью которых вы рендерите, апскейлируете или пакетно генерируете референсы персонажей, — это те же передовые системы, которые оценивала команда по готовности. Когда функция оценки рассредоточивается по командам без чёткого ответственного, вопрос о том, кто обнаружит опасную возможность до её выхода в релиз, становится значительно сложнее.
Роспуск команды происходит в непростой момент. За последний год OpenAI покинула череда исследователей в области безопасности, а в начале этого года компания сменила статус некоммерческой организации на коммерческую — переход, вызвавший критику со стороны бывших сотрудников, утверждавших, что он ослабил подотчётность. Ликвидация специализированной команды по оценке безопасности, даже если работа номинально продолжается в других местах, вписывается в паттерн, за которым критики пристально следят.
Сфера ответственности команды по готовности включала агентные риски — сценарии, в которых модель совершает многошаговые автономные действия, в том числе потенциально вредоносные. Это уже не абстрактная проблема. Агентные рабочие процессы всё активнее входят в практику создателей: модели, которые просматривают референсы, выполняют код, управляют файлами или объединяют задачи в цепочки без пошагового одобрения человека. Чем автономнее конвейер, тем важнее базовая оценка безопасности используемой модели.
Если вы строите агентные схемы поверх API OpenAI — выстраиваете цепочки вызовов GPT-4o для управления ассетами, генерации вариаций или взаимодействия с внешними сервисами, — вопрос о том, кто внутри OpenAI строго оценивает эти возможности на предмет сбоев, теперь менее ясен, чем месяц назад. Это не означает, что модели внезапно стали небезопасными, но означает, что институциональная структура для выявления проблем до того, как они достигнут вас, изменилась.
Для создателей, следящих за общей картиной безопасности ИИ, недавние инциденты в других частях индустрии наглядно показывают, почему специализированная оценка важна — сбой Grok в области безопасности изображений является одним из наглядных примеров того, что происходит, когда оценка защитных механизмов упускает реальный вектор атаки.
OpenAI публично не прокомментировала детали того, как будет продолжена работа по готовности. До тех пор честная оценка такова: функция существует в какой-то форме, но специализированной команды, которой она принадлежала, больше нет.