Веб-скрапер одержал победу над Google и Reddit в судебном споре на основе DMCA: правовой эксперт назвал стратегию платформ «абсурдной» — и исход дела имеет реальные последствия для формирования датасетов для обучения ИИ и контроля над доступом к публичному вебу.
Ключевые выводы
- Суд вынес решение против Google и Reddit по делу DMCA, направленному против веб-скрапера, обеспечив последнему значимую юридическую победу.
- Позиция скрапера, по данным Ars Technica, состоит в том, что «Google и Reddit не владеют интернетом» — это оспаривает идею о том, что пользовательские соглашения платформ могут ограничивать доступ к публичному вебу.
- Правовой эксперт охарактеризовал применение DMCA со стороны Google и Reddit против скрапера как «абсурдное», указав на шаткость их правовой теории.
- Решение может существенно затруднить крупным платформам блокировку ИИ-компаний и исследователей, собирающих общедоступный контент.
- Решение вынесено в момент, когда источники данных для обучения ИИ находятся под пристальным юридическим контролем — в том числе в связи с мировым соглашением Anthropic на $1,5 млрд с авторами за использование книг.
Почему аргумент на основе DMCA изначально был слабым
Закон об авторском праве в цифровую эпоху (DMCA) был разработан для борьбы с нарушениями авторских прав — несанкционированным копированием и распространением защищённых произведений. Использовать его для остановки скрапера, читающего общедоступные веб-страницы, — это натяжка, по мнению эксперта, процитированного Ars Technica. Положения DMCA об обходе технических средств защиты направлены против таких мер, как DRM, а не против файлов robots.txt или ограничений частоты запросов к API. Когда Google и Reddit попытались представить скрапинг как нарушение DMCA, они фактически утверждали, что их серверы представляют собой защищённый технологический замок — теория, к которой суды исторически относились скептически.
Основной аргумент скрапера прямолинеен: открытый веб не принадлежит ни одной отдельной платформе. Индексирование общедоступных страниц — это то, чем занимаются поисковые системы, академические исследователи и конвейеры обучения ИИ. Согласие суда с такой трактовкой не означает, что скрапинг не влечёт никаких последствий — договорное право и Закон о компьютерном мошенничестве и злоупотреблениях по-прежнему остаются действенными инструментами для платформ, — однако решение лишает их одного из наиболее агрессивных орудий в арсенале борьбы со скрапингом.
Что это означает для конвейера данных обучения ИИ
Для разработчиков ИИ-моделей решение является частичным зелёным светом. Большие языковые модели и системы генерации изображений — такие как Stable Diffusion и его производные — были созданы на основе датасетов, собранных из веба: Common Crawl, LAION и других. Юридические претензии к этому конвейеру исходили преимущественно от правообладателей — авторов, художников, фотографов, — утверждавших, что их конкретные произведения были использованы без согласия. Дело Google/Reddit было иным: речь шла о том, могут ли платформы использовать DMCA для контроля над доступом к самому вебу.
После того как этот путь оказался закрыт, основное поле битвы смещается к применению пользовательских соглашений и, что принципиально важно, к вопросам авторского права, которые суды так и не разрешили окончательно. Мировое соглашение Anthropic с авторами установило финансовый прецедент — около $3 000 за книгу, — однако не определило, является ли обучение на защищённых авторским правом текстах нарушением в принципе. Разработчики моделей генерации изображений сталкиваются с тем же неразрешённым вопросом применительно к визуальному контенту.
Для авторов, использующих инструменты генерации изображений на основе ИИ, это имеет менее очевидный, но реальный эффект: широта и актуальность обучающих данных определяют, что модели способны воспроизводить, насколько хорошо они справляются с нишевыми стилями и как быстро усваивают новые визуальные тренды. Правовая среда, сохраняющая открытый доступ к публичному вебу для скраперов, способствует формированию более богатых и актуальных обучающих наборов — что в конечном счёте сказывается на качестве моделей и диапазоне стилей. Авторы, исследующие возможности современных моделей, могут ознакомиться с каталогом Charmloop, чтобы увидеть, как разнообразие обучающих данных проявляется на практике в различных стилях генерации.
Тяжёлая борьба Google
По данным Ars Technica, Google не намерена прекращать борьбу, несмотря на проигрыш в суде, — что примечательно, учитывая, что сама Google является одним из крупнейших веб-скраперов в мире. Собственный Googlebot компании непрерывно индексирует весь публичный веб. Критики указывают на противоречие: Google одновременно отстаивает своё право на скрапинг и пытается заблокировать его для других — особенно когда эти скраперы питают конкурентов в сфере ИИ.
Мотивация Reddit более очевидна: платформа заключила соглашение о лицензировании данных с Google и агрессивно защищает этот источник дохода, ограничивая сторонний доступ через API и скрапинг. Решение, ослабляющее её возможности применять эти ограничения через DMCA, является прямым коммерческим ударом.
Это дело не станет последним словом. Платформы адаптируют свои правовые стратегии, а Конгресс всё ещё может принять законодательство, предоставляющее веб-платформам более явный контроль над автоматизированным доступом. Но пока публичный веб остаётся — по крайней мере юридически — ближе к общественному достоянию, чем к огороженному саду.
