Обери компаньйона і дізнайся його думку про цю історію
Схожі статті
Публікація у блозі Hugging Face від Multiverse Computing стверджує, що фільтри безпеки ШІ мають відмовляти у шкідливому зрізі теми, а не в усій темі цілком — і наводить навчальні дані, які свідчать про те, що такий підхід здатен скоротити рівень надмірних відмов приблизно з 49% до 3%.
Ключові висновки
Сучасні фільтри безпеки ШІ нерідко блокують цілі теми, хоча лише вузька підмножина запитів у межах цієї теми є справді шкідливою.
Метод навчання з використанням «граничних пар» — коли шкідливий запит поєднується з його безпечним близьким аналогом — скоротив рівень надмірних відмов на стороні виконання із ~49% до 3–8% у задокументованих експериментах.
Рівень відмов на шкідливій стороні залишався стабільним навіть у міру зниження надмірних відмов, що свідчить: компроміс — це не просте послаблення фільтра.
Для авторів ШІ-арту дослідження вказує на моделі, здатні обговорювати чутливі візуальні теми (історичне насильство, медична анатомія, політична символіка) без огульних відмов.
Підхід вимагає формування наборів граничних пар, специфічних для кожного контексту розгортання, тобто зусилля з реалізації лягають на розробника моделі, а не на кінцевого користувача.
Проблема надмірних відмов на практиці
Надмірна відмова — коли модель відхиляє запит, що не несе реальної шкоди, — є щоденним джерелом тертя для авторів, які працюють із генераторами зображень та ШІ-компаньйонами. Попросіть модель згенерувати історично достовірну сцену бою, клінічний анатомічний довідник або політичну алегорію — і тупий фільтр на рівні теми нерідко відмовить у всіх трьох, хоча лише вузьке трактування кожної з цих тем є справді небезпечним.
Публікація Hugging Face подає це як питання геометрії: повний всесвіт запитів на будь-яку чутливу тему містить значно меншу підмножину, яку конкретне розгортання має насправді блокувати. Ідеальний фільтр проводить чітку межу навколо цієї підмножини, залишаючи безпечне доповнення повністю доступним.
Шкідлива підмножина (внутрішня область) розташована всередині ширшого всесвіту теми; добре відкалібрований фільтр цілиться лише у цю внутрішню область, а не в усю тему.
Основна техніка є простою. Замість того щоб навчати класифікатор безпеки виключно на шкідливих прикладах, дослідники формують граничні пари — кожна пара складається з одного запиту, що перетинає межу, і одного, що знаходиться одразу в безпечній зоні на ту саму тему. Це схоже на те, як навчити охоронця розрізняти двох майже ідентичних гостей, а не відмовляти всім, хто з'являється у певному стилі одягу.
Зафіксовані цифри вражають. Без даних граничних пар моделі у дослідженні демонстрували рівень надмірних відмов на стороні виконання близько 0,49 — тобто майже половина безпечних запитів поблизу межі теми блокувалася помилково. Додавання безпечної сторони граничних пар знизило цей показник до 0,03–0,08, тоді як рівень відмов на шкідливій стороні залишився стабільним.
Навчання на граничних парах різко скорочує хибнопозитивні результати, не послаблюючи відмову від справді шкідливих запитів.
Практичний наслідок — тиск у бік вибору моделі. У міру того як дедалі більше розробників дообробки та операторів платформ впроваджують методи граничних пар, розрив між моделями, що огульно відмовляють у чутливих темах, і тими, що мають відкалібровані фільтри, зростатиме. Автори, які регулярно стикаються зі стінами відмов на законних запитах — історичні сцени, медичні довідники, зрілі, але легальні теми — матимуть конкретну технічну підставу надавати перевагу моделям, навченим таким чином.
Підводний камінь — специфічність розгортання. Граничні пари мають бути сформовані для кожного контексту окремо: розгортання для медичної візуалізації потребує інших пар, ніж платформа для творчого письма. Цей тягар формування лягає на розробника або оператора моделі, а не на кінцевого користувача. Автори не збиратимуть ці набори даних самостійно, але відчують різницю нижче за течією — у тому, які запити проходять, а які ні.
Для тих, хто створює власні дообробки — практика, що набирає популярності серед авторів ШІ-арту, які використовують каталог моделей Charmloop для пошуку базових моделей — дослідження пропонує конкретний напрямок: інвестуйте у дані граничних пар для конкретної тематики, яку має опрацьовувати ваша модель, замість того щоб покладатися на широке пригнічення на рівні теми.
Публікація Hugging Face не містить готового набору даних або покрокового рецепту навчання, тому розрив між результатом дослідження та готовою до розгортання моделлю залишається реальним. Проте кількісно зафіксоване зниження рівня надмірних відмов дає розробникам вимірювану ціль — а авторам корисний орієнтир для оцінки того, чи відкалібрований рівень безпеки моделі, чи просто тупий. Посібники з технік промптів для роботи зі схильними до відмов моделями залишаються актуальними тим часом, але добре навчений фільтр граничних пар зробив би багато з цих обхідних шляхів непотрібними.
