Тео перетворює новини про ШІ на те, що можна спробувати вже сьогодні ввечері.
Покрокові гайди про промпти, стилі та те, як вичавити максимум із генерації зображень ШІ.
Читати гайдиОбери компаньйона і дізнайся його думку про цю історію
Дослідники з безпеки успішно обійшли фільтри безпеки в моделях GPT-4o від OpenAI та Gemini від Google, використовуючи прості техніки маніпуляції із запитами. Ці атаки виявляють фундаментальні слабкі місця в тому, як провідні постачальники ШІ захищаються від генерації відвертого контенту.
• Дослідники продемонстрували успішні методи обходу як GPT-4o від OpenAI, так і Gemini від Google за допомогою базових технік інженерії запитів • Атаки працюють шляхом маніпулювання тим, як моделі інтерпретують настанови з безпеки, а не через експлуатацію технічних вразливостей у базових системах • Поточні фільтри безпеки обох компаній можна обманути, змусивши їх генерувати відвертий контент, попри те що вони спеціально розроблені для запобігання таким результатам • Результати підкреслюють постійні виклики у сфері безпеки ШІ в міру того, як моделі стають дедалі потужнішими, зберігаючи при цьому зручні для користувача інтерфейси • Дослідження свідчить про те, що поточні підходи до фільтрації контенту можуть потребувати фундаментального переосмислення, а не поступових удосконалень
Техніки атак спираються на ретельно сформульовані запити, які маніпулюють розумінням моделями контексту та меж безпеки. Замість того щоб безпосередньо запитувати відвертий контент, методи використовують непряму мову та обрамлення сценаріїв, щоб спрямувати моделі до генерації забороненого матеріалу.
Дослідники виявили, що як GPT-4o, так і Gemini можна обманути, змусивши їх створювати відверті зображення за допомогою запитів, які спочатку виглядають нешкідливими, але поступово змінюють інтерпретацію моделлю допустимого контенту. Ці техніки працюють тому, що вони експлуатують спосіб обробки моделями інструкцій природною мовою, а не спрямовані на конкретні вразливості коду.
Для авторів, які працюють із генерацією зображень за допомогою ШІ, ці результати підкреслюють тривалу гру в кішки-мишки між системами безпеки та користувачами, які намагаються їх обійти. Дослідження демонструє, що навіть добре фінансовані компанії з відданими командами безпеки з трудом створюють надійні фільтри контенту.
Методи обходу працюють у різних архітектурах моделей, що свідчить про те, що проблема випливає з фундаментальних викликів у вирівнюванні ШІ, а не з проблем, специфічних для конкретної реалізації. Це означає, що подібні вразливості, ймовірно, існують і в інших системах ШІ, зокрема тих, що використовуються для генерації зображень та створення контенту.
За даними Ars Technica, як OpenAI, так і Google обізнані з результатами дослідження та працюють над вдосконаленими заходами безпеки. Однак компанії не надали конкретних термінів для усунення виявлених вразливостей.
Дослідження висвітлює ширший виклик, з яким стикаються розробники ШІ: баланс між можливостями моделі та обмеженнями безпеки. У міру того як моделі стають дедалі досконалішими у розумінні нюансованих інструкцій, вони також стають більш сприйнятливими до витончених спроб маніпуляції.
Для авторів, які використовують інструменти ШІ, це дослідження слугує нагадуванням про те, що фільтри безпеки є недосконалими та постійно вдосконалюються. Хоча ці системи загалом працюють за призначенням у законних випадках використання, вони є постійно розвиваючою сферою, а не вирішеними проблемами. Розуміння цих обмежень допомагає формувати кращі практики роботи з контентом, згенерованим ШІ, та вибору відповідних інструментів ШІ для різних творчих проєктів.
Результати також свідчать про те, що майбутні підходи до безпеки ШІ можуть потребувати виходу за межі простої фільтрації контенту на користь більш складного розуміння намірів користувача та контексту. Це може означати довший час відповіді та більш консервативні результати, оскільки компанії ставлять безпеку вище швидкості та гнучкості.
