Мая проганяє через бенчмарки кожен новий реліз — спершу цифри, жодного хайпу.
Створи безкоштовний акаунт Charmloop — без картки й без обмежень на перегляд. Почни створювати ШІ-арт за лічені хвилини.
Обери компаньйона і дізнайся його думку про цю історію
Жінка публічно заявила, що її вітчим використав Grok від xAI, щоб перетворити її дитячу фотографію на матеріали сексуального насильства над дітьми (CSAM), — повідомляє TechCrunch. Це один із найбільш задокументованих випадків, коли AI-інструмент для роботи із зображеннями було використано як зброю для створення CSAM на основі зовнішності реальної людини.
Обвинувачення стосується трансформації зображень — завантаження наявної фотографії до Grok із запитом на створення відвертого результату, — а не генерації зображень із нуля. Ця відмінність принципова. Більшість публічної уваги до безпеки AI-інструментів для зображень зосереджена на текстових запитах, однак конвеєри перетворення зображень та інпейнтингу несуть той самий ризик при потенційно нижчому бар'єрі: вихідний матеріал уже містить зовнішність реальної людини, а завдання моделі — просто змінити його.
xAI публічно не розкрила деталей того, як стався передбачуваний обхід захисту та які заходи безпеки були передбачені в Grok для запитів на трансформацію зображень. Незалежно не перевірено й не розкрито, чи модераційний конвеєр Grok перевіряє трансформації завантажених фотографій із тією самою ретельністю, що й запити на генерацію лише за текстом.
Grok від xAI — AI-платформа в центрі звинувачень у створенні CSAM.
Зображення: TechCrunch / TechCrunch AI
Цей випадок виникає саме тоді, коли галузь загалом обговорює, як забезпечити підзвітність за AI-згенерованими зображеннями. У бета-версії iOS 27 від Apple з'явився код для вбудовування метаданих про час зйомки у фотографії iPhone, а наш попередній матеріал про впровадження водяних знаків C2PA в Claude показав, як невидимі метадані можуть принаймні встановити ланцюжок зберігання для AI-результатів. Жоден із підходів безпосередньо не запобігає створенню шкідливих зображень зловмисником — вони формують криміналістичний слід після факту, а не блокують контент під час виведення.
Для творців AI-арту більш нагальним є регуляторний наслідок таких випадків. Платформи під регуляторним або суспільним тиском зазвичай посилюють контроль генерації в широкому масштабі — підвищуючи рівень хибних спрацьовувань на легітимних творчих запитах, обмежуючи стилістичні категорії або ускладнюючи процес завантаження зображень. Творці, які покладаються на функції перетворення зображень для перенесення стилю, узгодженості персонажів або генерації на основі референсів, найбільше потерпають, коли платформи реагують на зловживання обмеженням конвеєрів трансформації.
Формулювання жінки — що AI-інструменти «перетворюють повсякденне життя на сексуальне насильство над дітьми» — вказує на специфічну модель загрози, яка відрізняється від діпфейк-відео або синтетичної генерації облич: вихідне зображення є буденним, а трансформація і є шкодою. Це ускладнює виявлення, адже результат — єдиний артефакт, що несе докази зловживання; вихідна фотографія сама по собі є невинною.
Платформи, що пропонують генерацію AI-зображень у масштабі, потребують архітектур модерації, які розглядають кожен запит на перетворення зображення як потенційну трансформацію зовнішності реальної людини, а не лише як стилістичну вправу. Це означає класифікаторне покриття результатів, а не лише запитів.
Повідомлень про жодні звинувачення чи правові наслідки у цій справі поки не надходило, а матеріал TechCrunch спирається на власні твердження жінки. Технічні деталі того, як було обійдено фільтри Grok — якщо це взагалі сталося, — залишаються непідтвердженими. Підтвердженим є те, що масова, широкодоступна AI-платформа для роботи із зображеннями опинилася в центрі звинувачень у створенні CSAM, і що конвеєр трансформації зображень, а не поле для текстового запиту, став місцем, де відбулася передбачувана шкода.
