Вдохновила эта история? Преврати идею в собственное ИИ-искусство за секунды — бесплатный старт, без банковской карты.
Французский ИИ-стартап ZML выпустил LLMD — бесплатный инструмент ускорения инференса, предназначенный для работы на чипах разных производителей оборудования. Это событие имеет прямые последствия для стоимости и скорости генерации изображений с помощью ИИ.
Инференс — это та часть работы ИИ, с которой авторы сталкиваются каждый день: именно это происходит, когда вы нажимаете «сгенерировать» и модель превращает текстовый запрос в изображение. Это также наиболее значительная регулярная статья расходов для платформ, обрабатывающих такие запросы в масштабе. Более быстрый инференс означает больше изображений в секунду на каждый доллар вычислительных ресурсов — и эта математика напрямую влияет на ценообразование, время ожидания в очереди и потолок качества результатов.
Большинство инструментов оптимизации инференса до сих пор были жёстко привязаны к архитектуре одного чипа — наиболее показательный пример — экосистема CUDA от NVIDIA. Ставка ZML с LLMD — аппаратно-независимое ускорение: ПО разработано для работы на чипах разных производителей, что особенно важно, пока отрасль стремительно ищет альтернативы в виде AMD, Intel и специализированных чипов на фоне сохраняющегося дефицита GPU.
ZML — парижский стартап, привлёкший к себе внимание отчасти благодаря публичной поддержке Яна ЛеКуна. ЛеКун, главный научный сотрудник по ИИ в Meta и лауреат премии Тьюринга, пользуется значительным авторитетом в исследовательском сообществе, и его связь с компанией подняла её профиль значительно выше типичного инфраструктурного стартапа. Компания сосредоточена на том, чтобы сделать инференс ИИ быстрее и дешевле, не привязывая операторов к единственному стеку оборудования.
LLMD — первый крупный публичный продукт компании. Решение сделать его бесплатным — очевидная стратегия захвата рынка: широко распространить продукт, утвердить LLMD в качестве стандартного слоя в пайплайнах развёртывания ИИ и развиваться дальше. Это знакомый сценарий — он повторяет то, как PyTorch и библиотека Transformers от Hugging Face завоевали доминирующее положение на своих уровнях ИИ-стека.
Для платформ ИИ-арта возможность эффективно запускать инференс на оборудовании, отличном от NVIDIA, становится всё более практической, а не теоретической. Облачные провайдеры расширяют парк ускорителей AMD Instinct и специализированных чипов, и часть задач по генерации изображений уже выполняется на этих альтернативных чипах. Программный слой, абстрагирующий аппаратные различия и при этом обеспечивающий конкурентоспособную производительность, позволит платформам оптимизировать затраты на вычисления так, как сейчас они не могут.
Для авторов, использующих самостоятельно размещённые или локально запускаемые модели — растущий сегмент, особенно среди тех, кто работает с вариантами Stable Diffusion или другими моделями генерации изображений с открытыми весами, — LLMD может означать заметно более быструю генерацию на любом уже имеющемся оборудовании, без ожидания, пока специфические для конкретного чипа оптимизации дойдут из крупных фреймворков.
Практические показатели производительности пока скудны. TechCrunch сообщил о выпуске, однако независимые бенчмарки, сравнивающие пропускную способность LLMD с существующими средами выполнения инференса — такими как vLLM, TensorRT-LLM или llama.cpp на эквивалентном оборудовании — в открытом доступе пока не появились. Охват производителей чипов — какие именно архитектуры поддерживаются и насколько хорошо — также требует более детального раскрытия, прежде чем кто-либо решится перестроить под это производственный пайплайн.
Очевидно одно: направление верное. Усиление конкуренции на уровне оптимизации инференса выгодно всем, кто платит за вычисления ИИ или зависит от них. Если LLMD выполнит своё обещание кроссчиповой совместимости, это создаст ощутимое давление как на производителей оборудования, так и на существующих поставщиков программного обеспечения для инференса — с целью повышения их собственной производительности и улучшения ценообразования. Для авторов, занимающихся генерацией изображений, именно эта конкуренция в конечном счёте не даёт стоимости генерации бесконтрольно расти по мере увеличения размеров моделей.
