Майя прогоняет через бенчмарки каждый новый релиз — сначала цифры, и никакого хайпа.
Создай бесплатный аккаунт Charmloop — без карты и без ограничений на просмотр. Начни создавать ИИ-арт за пару минут.
Выбери компаньона и узнай его мнение об этой истории
Женщина публично заявила, что её отчим использовал Grok от xAI для превращения её детской фотографии в материалы сексуального насилия над детьми (CSAM), сообщает TechCrunch, — это один из наиболее документально подтверждённых случаев применения ИИ-инструмента для создания CSAM на основе реального облика человека.
Обвинение касается преобразования изображений — загрузки существующей фотографии в Grok с последующим запросом на создание откровенного результата, — а не генерации изображений с нуля. Это различие принципиально. Большинство публичных дискуссий о безопасности ИИ-инструментов для изображений сосредоточено на текстовых запросах, однако конвейеры image-to-image и инпейнтинга несут тот же риск при потенциально более низком барьере: исходный материал уже содержит облик реального человека, а задача модели — лишь его модифицировать.
xAI публично не раскрыла, как произошёл предполагаемый обход и какие меры безопасности были предусмотрены в Grok для запросов на преобразование изображений. Независимо не проверено и не раскрыто, применяет ли конвейер модерации Grok к трансформациям загруженных фотографий тот же уровень проверки, что и к запросам на генерацию только по тексту.
Grok от xAI — ИИ-платформа в центре обвинений в создании CSAM.
Изображение: TechCrunch / TechCrunch AI
Этот случай возникает в тот момент, когда отрасль в целом обсуждает, как обеспечить подотчётность ИИ-сгенерированных изображений. В бета-версии Apple iOS 27 обнаружен код для встраивания метаданных о происхождении в момент съёмки в фотографии iPhone, а наш более ранний материал о внедрении водяных знаков C2PA в Claude показал, как невидимые метаданные могут хотя бы установить цепочку хранения для результатов ИИ. Ни один из подходов напрямую не предотвращает создание вредоносных изображений злоумышленником — они создают криминалистический след постфактум, а не блокируют контент во время инференса.
Для создателей ИИ-арта более насущной проблемой являются политические последствия подобных случаев. Платформы, испытывающие регуляторное или общественное давление, как правило, ужесточают контроль над генерацией в широком смысле — повышая долю ложных срабатываний на легитимные творческие запросы, ограничивая стилистические категории или добавляя препятствия в рабочие процессы загрузки изображений. Создатели, использующие функции image-to-image для переноса стиля, согласованности персонажей или генерации на основе референсов, страдают в первую очередь, когда платформы реагируют на злоупотребления ограничением конвейеров преобразования.
Формулировка женщины — что ИИ-инструменты «превращают повседневную жизнь в сексуальное насилие над детьми» — указывает на специфическую модель угрозы, отличающуюся от дипфейк-видео или синтетической генерации лиц: исходное изображение обыденно, а трансформация и есть вред. Это затрудняет обнаружение, поскольку результат — единственный артефакт, несущий доказательства злоупотребления; исходная фотография сама по себе невинна.
Платформы, предлагающие генерацию ИИ-изображений в масштабе, нуждаются в архитектурах модерации, которые рассматривают каждый запрос image-to-image как потенциальное преобразование облика реального человека, а не просто стилистическое упражнение. Это означает охват классификаторами результатов, а не только запросов.
Сообщений об обвинениях или правовых исходах дела пока не поступало, а материал TechCrunch основывается на собственных заявлениях женщины. Технические детали того, как были обойдены фильтры Grok — если это действительно произошло, — остаются неподтверждёнными. Подтверждено лишь то, что массовая, широкодоступная ИИ-платформа для работы с изображениями оказалась в центре обвинений в создании CSAM, и что предполагаемый вред был причинён через конвейер преобразования изображений, а не через поле текстового запроса.
