Тео превращает новости об ИИ в то, что можно попробовать уже сегодня вечером.
Получай на почту главные истории недели об ИИ и ИИ-арте — отобранные, краткие, бесплатно.
Бесплатно. Отписаться можно в любой момент.
Выбери компаньона и узнай его мнение об этой истории
Рекурсивное самосовершенствование ИИ — идея о том, что ИИ-системы вскоре начнут переписывать собственный код, генерировать обучающие данные и итерировать в сторону сверхинтеллекта почти без участия человека — упирается в более серьёзные стены, чем предсказывали самые смелые прогнозы, согласно MIT Technology Review.
На бумаге обещание выглядит стройно: ИИ создаёт более качественные обучающие данные, обучает на них улучшенную версию себя, которая создаёт ещё более качественные данные, и так далее. На практике обратная связь оказывается зашумлённой. Синтетические данные, сгенерированные моделью, как правило, наследуют её слепые пятна, а код, написанный ИИ для самооптимизации, может содержать скрытые ошибки, которые проявляются лишь спустя несколько итераций. Анализ MIT Technology Review описывает эту проблему накапливающихся ошибок как одно из центральных препятствий, которое исследователям пока не удалось преодолеть.
Это не значит, что ничего не происходит. LLM уже участвуют в рабочих процессах проектирования чипов и генерируют обучающие наборы, используемые в производственных пайплайнах. Но этот вклад остаётся подконтрольным: человек по-прежнему присутствует на каждом этапе, где ошибка имела бы значение. Полностью автономное рекурсивное совершенствование — при котором ИИ обнаруживает и исправляет собственные ошибки без контрольной точки с участием человека — остаётся исследовательской задачей, а не готовой функцией.
Цикл рекурсивного самосовершенствования: многообещающий в теории, хрупкий на практике.
Изображение: MIT Technology Review / MIT Technology Review AI
Для художника по персонажам, пакетно рендерящего сцены, или концепт-дизайнера, генерирующего сотни вариантов в день, практический вопрос проще: когда модели станут заметно лучше и как быстро? Тезис о рекурсивном совершенствовании, если бы он подтвердился, означал бы взрывные скачки возможностей — новые модели, качественно отличающиеся от предыдущих каждый месяц.
Более вероятная траектория с учётом этих выводов — постепенная: архитектурные улучшения, более качественные данные для дообучения (по-прежнему отобранные людьми) и более умные оптимизации инференса. Это всё равно реальный прогресс — разрыв в качестве между сегодняшними генераторами изображений и теми, что были 18 месяцев назад, очевиден каждому, кто ими пользуется, — но это иной вид прогресса, нежели разрывный скачок, который описывали некоторые аналитики.
Для авторов, решающих, в изучение каких моделей вкладывать время, это на самом деле упрощает расчёт. Вы не соревнуетесь с системой, которая может полностью переизобрести себя в следующем квартале. Каталог моделей, с которым вы работаете сегодня, будет развиваться, но не за одну ночь. Навыки, выстроенные вокруг нынешних инструментов — освоение конкретного стилевого пайплайна, умение управлять определённой архитектурой с помощью точных промптов, — сохраняют свою ценность дольше, чем подразумевал хайп-цикл.
Это также усиливает значимость экосистемы открытых весов. Если закрытые фронтирные лаборатории в ближайшее время не разблокируют рекурсивное самосовершенствование, конкурентное преимущество возвращается к командам, которые занимаются тщательным дообучением под человеческим контролем и публично выкладывают веса. Отчёт Hugging Face об открытых моделях за середину года зафиксировал именно эту тенденцию — открытые модели сокращают разрыв в качестве быстрее, чем ожидалось, — а анализ MIT даёт этой траектории больше пространства для развития, чем позволял нарратив о рекурсивном совершенствовании.
Анализ MIT выявляет и второе препятствие: даже когда код, написанный ИИ, или синтетические данные оказываются качественными, исследователи с осторожностью относятся к их повторному использованию в обучении без тщательной проверки. Эта осторожность отчасти техническая, отчасти институциональная. Лаборатории, годами выстраивавшие процессы проверки безопасности, не откажутся от них только потому, что модель утверждает, что её собственные результаты чисты.
Для авторов эта институциональная инерция негласно полезна. Она означает, что в моделях, которые вы используете, люди присутствовали на наиболее важных этапах — именно поэтому руководства на /learn по промптингу и рабочим процессам по-прежнему актуальны: поведение базовых моделей достаточно стабильно, чтобы выстраивать вокруг него надёжные техники, и так будет дольше, чем предполагал хайп вокруг самосовершенствования.