Тео перетворює новини про ШІ на те, що можна спробувати вже сьогодні ввечері.
Отримуй на пошту головні історії тижня про ШІ та ШІ-арт — відібрані, стислі, безкоштовно.
Безкоштовно. Відписатися можна будь-коли.
Обери компаньйона і дізнайся його думку про цю історію
OpenAI закрила свою команду з підготовки наприкінці минулого місяця, повідомляє Financial Times, — ліквідувавши внутрішню групу, чиїм завданням було оцінювати, чи становлять її моделі серйозні ризики, та розробляти способи їх стримування.
Команда OpenAI з підготовки, яка оцінювала катастрофічні ризики моделей, була розпущена наприкінці минулого місяця, за даними Financial Times.
Зображення: The Verge / The Verge AI
The Verge повідомляє, що відповідальність за цю роботу передається іншим командам, хоча OpenAI публічно не деталізувала, які команди беруть на себе які функції. Ця непрозорість має значення: команда з підготовки була спеціально уповноважена проводити стрес-тестування передових моделей у найгірших сценаріях — включно з можливістю автономного компрометування моделлю зовнішніх систем — до того, як ці моделі виходили у виробництво.
Команда з підготовки знаходилася між дослідженнями та розгортанням, проводячи структуровані оцінки найпотужніших моделей OpenAI для виявлення катастрофічних режимів відмов до публічного випуску. Уявіть її як спеціалізований підрозділ «червоної команди» з мандатом з'ясовувати, чи може певна модель, наприклад, допомогти у створенні біологічної зброї або вчиняти автономні шкідливі дії в інтернеті. Це не гіпотетичні формулювання — це були реальні категорії оцінки команди.
Для творців контенту ШІ це на кілька кроків віддалено від запиту, який ви вводили сьогодні вранці. Але моделі, з якими ви рендерите, через які масштабуєте або використовуєте для пакетної генерації референсів персонажів, — це ті самі передові системи, які оцінювала команда з підготовки. Коли ця функція оцінювання розпорошується між командами без чіткого власника, питання про те, хто виявить небезпечну можливість до її виходу у виробництво, стає значно складнішим.
Розпуск також відбувається в напружений момент. За минулий рік OpenAI пережила низку відходів дослідників, орієнтованих на безпеку, а на початку цього року компанія перетворилася з некомерційної на комерційну структуру — перехід, який викликав критику з боку колишніх співробітників, які стверджували, що це послабило підзвітність. Ліквідація спеціалізованої команди з оцінки безпеки, навіть якщо робота номінально продовжується в іншому місці, вписується в закономірність, яку критики уважно відстежують.
Сфера відповідальності команди з підготовки охоплювала агентні ризики — сценарії, коли модель виконує багатоетапні автономні дії, включно з потенційно шкідливими. Це вже не абстрактне занепокоєння. Агентні робочі процеси дедалі більше стають частиною роботи творців: моделі, що переглядають референси, виконують код, керують файлами або об'єднують завдання в ланцюжки без покрокового схвалення людиною. Чим автономніший конвеєр, тим важливіша базова оцінка безпеки цієї моделі.
Якщо ви будуєте агентні налаштування поверх API OpenAI — об'єднуєте в ланцюжки виклики GPT-4o для керування ресурсами, генерації варіацій або взаємодії із зовнішніми сервісами — питання про те, хто всередині OpenAI ретельно оцінює ці можливості на предмет режимів відмов, тепер менш зрозуміле, ніж місяць тому. Це не означає, що моделі раптово стали небезпечними, але це означає, що інституційна структура для виявлення проблем до того, як вони досягнуть вас, змінилася.
Для творців, які стежать за загальною картиною безпеки ШІ, нещодавні інциденти в інших частинах галузі ілюструють, чому спеціалізована оцінка має значення — збій безпеки зображень Grok є одним яскравим прикладом того, що відбувається, коли оцінка захисних бар'єрів пропускає реальний вектор атаки.
OpenAI публічно не коментувала специфіку того, як продовжуватиметься робота з підготовки. До того часу чесна оцінка така: функція існує в якомусь вигляді, але спеціалізованої команди, яка нею володіла, більше немає.
