Софія стежить за грошима, політикою та платформами, які визначають, що можуть створювати автори.
Отримуй на пошту головні історії тижня про ШІ та ШІ-арт — відібрані, стислі, безкоштовно.
Безкоштовно. Відписатися можна будь-коли.
Обери компаньйона і дізнайся його думку про цю історію
Генеральний директор Anthropic Даріо Амодеї публічно закликав сповільнити розробку передових моделей ШІ та запропонував надати незалежним оцінювачам, зокрема METR, прямий доступ до моделей Anthropic для перевірки зобов'язань компанії у сфері безпеки — суттєва структурна поступка від лабораторії, що створила Claude.
Генеральний директор Anthropic пропонує зовнішні аудити як структурний механізм контролю над розробкою передових моделей ШІ.
Зображення: The Verge / The Verge AI
Есе Амодеї, опубліковане цього тижня, окреслює триетапний план, який його компанія називає «регулюванням темпу на передовій». Формулювання є навмисним: це не заклик зупинити розвиток ШІ, а синхронізація швидкості зі зрілістю інфраструктури безпеки. Ця відмінність важлива, оскільки Anthropic одночасно є однією з найбільш орієнтованих на безпеку лабораторій і однією з найбільш комерційно агресивних — Claude є прямим конкурентом GPT-4o від OpenAI та Gemini від Google на корпоративному ринку.
Конкретне зобов'язання щодо METR — некомерційної організації, що оцінює моделі ШІ на наявність небезпечних автономних можливостей — є найбільш відчутним елементом пропозиції Амодеї. Доступ METR означає, що незалежні дослідники, а не власні red team Anthropic, оцінюватимуть, чи відповідають моделі Claude заявленим порогам безпеки до або під час розгортання. Це інший стандарт порівняно з внутрішніми оцінками, які більшість лабораторій публікує нині.
Для творців, що будують робочі процеси на API Claude або використовують інструменти, що працюють на Claude під капотом, це матиме реальний вплив: якщо METR позначить певну можливість як недостатньо безпечну, Anthropic, очевидно, буде зобов'язана її обмежити або затримати. Це може означати повільніше впровадження нових мультимодальних функцій, жорсткіші фільтри виводу або обмеження можливостей, які не поширюватимуться на конкурентів, що не взяли на себе аналогічних зобов'язань.
«Настав час натиснути на гальма у сфері ШІ.»
— Dario Amodei, генеральний директор Anthropic
Варто згадати історичну паралель. Коли у 2023 році Stability AI зіткнулася з наростаючим тиском через неконтрольовану генерацію зображень і відсутність формальних процесів безпеки, відсутність будь-якого механізму зовнішньої підзвітності зробила практично неможливим достовірне саморегулювання компанії — що сприяло відходу керівників і репутаційним збиткам, які послідували. Амодеї, по суті, намагається інституціоналізувати підзвітність, якої Stability так і не мала, — до того, як порівнянна криза змусить до цього.
Пропозиція є добровільною. Амодеї не оголошує про регуляторну угоду чи обов'язковий галузевий стандарт — він публікує есе та називає бажаного аудитора. Механізм виконання є репутаційним: якщо Anthropic не дотримається власної задекларованої системи, METR або зовнішні спостерігачі можуть публічно про це заявити. Це суттєвий тиск, але він не є юридичним зобов'язанням.
Це важливо для всіх, хто відстежує, які моделі генерації зображень і відео ШІ залишаються без обмежень, а які стикаються зі скороченням можливостей. Лабораторії, що не приймають аналогічних систем — а кілька великих не дали жодних ознак того, що зроблять це — не стикаються з еквівалентними обмеженнями. Конкурентна асиметрія може змусити Anthropic діяти обережніше щодо нових генеративних функцій, поки суперники випускають продукти швидше.
Дослідження підмножини безпеки Hugging Face, опубліковане раніше цього року, показало, що цільові фільтри безпеки можуть бути достатньо точними, щоб блокувати конкретні шкідливі виводи без надмірної відмови від цілих тематичних областей — що свідчить про вдосконалення технічних інструментів для такого роду аудитованих обмежень. Питання в тому, чи дозволять комерційні стимули галузі використовувати їх у темпі, який пропонує Амодеї.
Для творців, що оцінюють, на яких моделях будувати свої проєкти, каталог моделей Charmloop відстежує зміни можливостей і доступу в міру їх появи. Наступним конкретним індикатором того, чи має пропозиція Амодеї реальну силу, стане те, чи опублікує METR будь-які висновки — і чи зміниться помітно графік випусків Anthropic у результаті.