Надихнула ця історія? Перетвори ідею на власне ШІ-мистецтво за лічені секунди — безкоштовний старт, без банківської картки.
Французький AI-стартап ZML випустив LLMD — безкоштовний інструмент прискорення інференсу, розроблений для роботи на чипах від кількох виробників обладнання, що безпосередньо впливає на вартість і швидкість AI-генерації зображень.
Інференс — це та частина AI, з якою більшість авторів взаємодіє щодня: саме це відбувається, коли ви натискаєте «генерувати» і модель перетворює запит на зображення. Це також найбільша регулярна стаття витрат для платформ, що обробляють такі запити у великих масштабах. Швидший інференс означає більше зображень за секунду на кожен долар обчислень — і ця математика безпосередньо впливає на ціноутворення, час очікування в черзі та стелю якості результатів.
Більшість інструментів оптимізації інференсу до цього часу були тісно прив'язані до архітектури одного чипа — домінуючим прикладом є екосистема CUDA від NVIDIA. Пропозиція ZML з LLMD — це апаратно-незалежне прискорення: програмне забезпечення розроблено для роботи на чипах від різних виробників, що важливо, оскільки галузь намагається будувати рішення навколо AMD, Intel та альтернативних спеціалізованих чипів на тлі постійних обмежень у постачанні GPU.
ZML — паризький стартап, який привернув увагу частково завдяки публічній підтримці Яна ЛеКуна. ЛеКун, головний науковець з AI у Meta та лауреат премії Тюрінга, має значну вагу в дослідницькій спільноті, і його асоціація з компанією підняла її профіль значно вище типового інфраструктурного стартапу. Компанія зосереджена на тому, щоб зробити AI-інференс швидшим і дешевшим, не прив'язуючи операторів до єдиного апаратного стека.
LLMD — перший великий публічний продукт компанії. Рішення зробити його безкоштовним є очевидною стратегією захоплення ринку: широко засіяти прийняття, встановити LLMD як стандартний шар у конвеєрах розгортання AI і розвиватися далі. Це знайомий сценарій — він нагадує те, як PyTorch і бібліотека Transformers від Hugging Face стали домінувати у своїх відповідних шарах AI-стека.
Для платформ AI-арту можливість ефективно запускати інференс на обладнанні, відмінному від NVIDIA, стає дедалі більш практичною, а не теоретичною. Хмарні провайдери розширюють свої парки AMD Instinct та спеціалізованих прискорювачів, і деякі навантаження з генерації зображень вже працюють на цих альтернативних чипах. Програмний шар, який абстрагує апаратні відмінності й при цьому забезпечує конкурентну пропускну здатність, дозволив би платформам арбітражувати витрати на обчислення способами, які наразі недоступні.
Для авторів, які використовують самостійно розгорнуті або локально запущені моделі — зростаючий сегмент, особливо серед тих, хто використовує варіанти Stable Diffusion або інші моделі генерації зображень з відкритими вагами — LLMD може означати відчутно швидшу генерацію на будь-якому обладнанні, яке вони вже мають, без очікування, поки оптимізації для конкретних чипів просочаться з основних фреймворків.
Практичні показники продуктивності поки що мізерні. TechCrunch повідомив про випуск, але незалежні бенчмарки, що порівнюють пропускну здатність LLMD з існуючими середовищами виконання інференсу, такими як vLLM, TensorRT-LLM або llama.cpp на еквівалентному обладнанні, ще не з'явилися публічно. Охоплення виробників чипів — які саме архітектури підтримуються і наскільки добре — також потребує більш детального опису, перш ніж хтось захоче перебудовувати виробничий конвеєр навколо цього рішення.
Очевидним є напрямок: більша конкуренція на рівні оптимізації інференсу вигідна всім, хто платить за AI-обчислення або залежить від них. Якщо LLMD виконає свою обіцянку щодо підтримки різних чипів, це створить відчутний тиск як на виробників обладнання, так і на існуючих постачальників програмного забезпечення для інференсу, спонукаючи їх підвищувати власну продуктивність і переглядати ціноутворення. Для авторів, що займаються генерацією зображень, саме ця конкуренція зрештою не дає витратам на генерацію безконтрольно зростати в міру збільшення розмірів моделей.
