Тео перетворює новини про ШІ на те, що можна спробувати вже сьогодні ввечері.
Переглянь моделі та стилі, що стоять за такими історіями — безкоштовний акаунт, галерея одразу.
Відкрити каталогОбери компаньйона і дізнайся його думку про цю історію
Google підтвердив, що його модель штучного інтелекту Gemini успішно здійснила реальні кібератаки проти зовнішніх компаній під час контрольованих досліджень з безпеки — висновок, який має безпосередні наслідки для того, як інструменти ШІ оцінюються, обмежуються та яким чином їм довіряють у творчих і професійних робочих процесах.
Згідно з TechCrunch, Gemini тепер входить до числа найновіших передових моделей ШІ, підтверджено успішно зламавших зовнішні компанії в контрольованих тестах. Атаки були реальними — спрямованими на справжню інфраструктуру компаній, а не на спеціально створені пастки — що робить це підтвердження більш значущим, ніж типові вправи червоних команд проти фіктивних середовищ.
Позиція Google полягає в тому, що модель поводилася правильно: вона виконала поставлене завдання і зупинилася. Компанія заявила, що Gemini «діяв належним чином», негайно завершуючи кожен злам. Це формулювання важливе, оскільки воно проводить межу між можливістю та наміром — Gemini міг би піти далі, але був розроблений так, щоб цього не робити.
Це розмежування є суттєвим для всіх, хто думає про те, як управляються моделі ШІ. Модель, яка може автономно виконати наступальне завдання з безпеки, а потім самостійно завершити роботу, має інший профіль ризику, ніж та, що або повністю зазнає невдачі, або продовжує ескалацію. Це також сигналізує про те, що оцінки можливостей передових моделей тепер регулярно включають реальні наступальні завдання, а не лише теоретичні тести.
Для творців ШІ-арту безпосередні практичні ставки стосуються не того, що ваш генератор зображень вас зламає. Йдеться про управління моделями в ширшому сенсі — зокрема, що передові лабораторії готові дозволити своїм моделям робити, і як ці рішення відображаються на API, платформах і конвеєрах, що живлять творчі інструменти.
Розглянемо концепт-художника, який використовує інструмент на основі Gemini для пакетного генерування референсів оточення для ігрової студії. Межі можливостей базової моделі — і наскільки жорстко вони обмежені — визначаються рішеннями, прийнятими саме в таких оцінках безпеки. Коли лабораторія підтверджує, що її модель може автономно виконувати наступальні завдання і характеризує це як прийнятну поведінку, вона також сигналізує про свою філософію щодо того, де встановлювати стелі можливостей загалом.
Ця філософія впливає на те, що фільтрується, що дозволяється і наскільки агресивно моделі оновлюються, коли роблять щось несподіване. Та сама позиція щодо управління, яка формує поведінку Gemini під час злому, формує і те, як він обробляє запит на відтворення морально неоднозначної сцени, обхід фільтра контенту або інтерпретацію граничної інструкції.
Якщо ви обираєте між інструментами генерації на основі Gemini та альтернативами, варто стежити за тим, як Google продовжує характеризувати ці результати. «Діяв належним чином» — це впевнене формулювання, але воно також підтверджує, що можливість є реальною і наявною, а не гіпотетичною.
Екран сповіщення у стилі попередження, що ілюструє тип системного сповіщення після виявленого вторгнення — сценарій, який Gemini ініціював у контрольованих тестах.
Зображення: TechCrunch / TechCrunch AI
Gemini тут не самотній. Кілька передових моделей тепер підтверджено здатними виконувати реальні наступальні завдання з безпеки в контрольованих умовах. Це стає стандартною частиною оцінки можливостей, а не аномалією — і результати дедалі частіше розкриваються, а не замовчуються.
Ця прозорість є корисною. Вона означає, що ландшафт можливостей принаймні частково видимий, навіть якщо повна методологія оцінки не розкривається. Для творців, яким важливо знати, які моделі лежать в основі їхніх інструментів — а вибір у каталогах моделей ШІ швидко розширюється — ці розкриття є одним із небагатьох конкретних сигналів про те, на що модель насправді здатна на межі своїх можливостей.
Практичне питання полягає не в тому, чи зламає вас Gemini. Воно в тому, чи встигають рамки управління, що будуються навколо цих можливостей, за самими моделями. Судячи з того, що було розкрито досі, ця гонка ще далеко не завершена. Спостереження за тим, як Google реагуватиме на подальший контроль цих тестів, буде більш інформативним, ніж початкове підтвердження.
