Тео перетворює новини про ШІ на те, що можна спробувати вже сьогодні ввечері.
Отримуй на пошту головні історії тижня про ШІ та ШІ-арт — відібрані, стислі, безкоштовно.
Безкоштовно. Відписатися можна будь-коли.
Обери компаньйона і дізнайся його думку про цю історію
Нова галузева оцінка виявила, що провідні лабораторії ШІ — ті самі компанії, чиї моделі живлять генератори зображень, відеоінструменти та творчі API, якими щодня користуються мільйони творців, — майже не мають публічно задокументованих планів щодо того, що робити, якщо одна з їхніх моделей поводитиметься небезпечно або непередбачувано.
Звіт підготовлено компанією Guidelight, яка оцінювала, чи відповідають провідні лабораторії шести пріоритетним практикам її стандарту Control — системи для оцінки того, чи здатна компанія виявити, ізолювати та вимкнути модель, яка починає робити те, чого не повинна. За даними TechCrunch, оцінка базується лише на загальнодоступній інформації, що само по собі є проблемою: лабораторії можуть мати внутрішні протоколи, але не повідомляють, що саме вони собою являють.
Оцінка провідних лабораторій ШІ за Guidelight відповідно до шести пріоритетних практик стандарту Control на основі загальнодоступної інформації.
Зображення: TechCrunch / TechCrunch AI
Різниця між «немає плану» і «немає публічного плану» важлива, але не настільки, як може здатися. Якщо лабораторія не може описати свій підхід до стримування, регулятори, аудитори та розробники, які будують на основі цих API, також не можуть його перевірити. Для творця, який залежить від того, щоб конкретна модель залишалася стабільною протягом усього проєкту — той самий стиль, та сама поведінка, той самий діапазон результатів, — така непрозорість є практичним ризиком, а не просто абстракцією у сфері політики.
Подумайте, як «поведінка моделі-відступника» насправді виглядає з місця творця. Це не обов'язково науково-фантастичний сценарій. Це може бути модель, яка починає відхиляти запити, які раніше приймала, або та, що змінює свої естетичні налаштування в середині кампанії через оновлення безпеки, впроваджене без попередження. Це може бути API, який починає повертати несподівані результати, тому що патч узгодження було розгорнуто реактивно, а не заплановано.
Такий вид збоїв уже знайомий. Збій Grok Lite з безглуздими відповідями на початку цього року показав, як швидко несправність моделі каскадно руйнує творчі конвеєри для всіх, хто використовує її для генерації контенту. Протоколи стримування моделей-відступників — або їх відсутність — є першопричиною цієї проблеми.
Якщо ви запускаєте конвеєр арту персонажів або пакетний рендеринг через сторонній API, відсутність опублікованих планів стримування означає, що ви не маєте можливості передбачити, як лабораторія відреагує на інцидент, як довго модель може бути офлайн або чи буде вона відкочена, перенавчена чи тихо замінена. Практичним кроком є підтримка принаймні однієї резервної моделі у вашому стеку — тієї, яку можна підключити без повного перебудовування робочого процесу генерації зображень.
Структура Guidelight вимагає таких речей, як: задокументовані тригери, що запускають вимкнення моделі, чіткі ланцюжки повноважень для прийняття рішень щодо стримування та регулярні навчання. Нічого з цього не є екзотичним. Це саме той вид планування реагування на інциденти, який мала б будь-яка команда інфраструктури, що керує критично важливими сервісами. Те, що лабораторії, які створюють одні з найбільш широко використовуваних творчих інструментів на планеті, не опублікували еквівалентних планів, є реальною прогалиною.
Деякі лабораторії стверджують, що публікація деталей стримування сама по собі може бути ризиком для безпеки — вона підказує зловмисникам, яких тригерів слід уникати. Це законна суперечність, але вона не пояснює, чому не можна поділитися високорівневими структурами. Anthropic була більш прозорою, ніж більшість, щодо своїх керівних принципів поведінки моделі, але навіть там оцінка Guidelight фіксує прогалини.
Для творців, які обирають, на яких платформах і API будувати, це дослідження додає нову змінну: прозорість інфраструктури безпеки тепер є критерієм вибору, а не просто фоновим занепокоєнням. Перегляньте каталог моделей під час оцінки варіантів і врахуйте, чи опублікувала базова лабораторія щось змістовне про те, як вона обробляє інциденти з моделями, — адже наступний інцидент — це питання часу, а не можливості.