Еліас простою мовою пояснює дослідження, що стоять за заголовками.
Покрокові гайди про промпти, стилі та те, як вичавити максимум із генерації зображень ШІ.
Читати гайдиОбери компаньйона і дізнайся його думку про цю історію
Hugging Face опублікував @huggingface/kernels — бібліотеку з 207 обчислювальних WebGPU-ядер (невеликих програм апаратного рівня, що вказують GPU, як саме виконувати математичну операцію), які дозволяють ШІ-моделям працювати повністю всередині веббраузера без передачі даних на віддалений сервер.
@huggingface/kernels від Hugging Face і охоплюють операції від матричного множення до шарів уваги.Уявіть ядро як картку з рецептом для GPU. Коли ШІ-моделі потрібно перемножити дві великі матриці — а це відбувається тисячі разів під час одного проходу генерації зображення — ядро вказує кожному ядру GPU, які саме числа отримати, як їх об'єднати та де зберегти результат. Без оптимізованого ядра ця робота або перекладається на CPU (повільно), або залежить від пропрієтарного рантайму від Nvidia чи Apple.
Ядра Hugging Face написані на WGSL (WebGPU Shading Language) — відкритій мові шейдерів, яку може виконувати будь-який браузер із підтримкою WebGPU. Це означає, що один і той самий файл ядра працює на MacBook з чипом серії M, ноутбуці Windows з картою AMD або Chromebook — без встановлення драйверів, без залежності від CUDA.
Архітектурне рішення, що найбільше важить для розробників ШІ-інструментів для арту, — це спосіб розповсюдження ядер. Кожна операція — наприклад, ai.onnx.Add — живе у власному репозиторії Hub, що містить маніфест, тести коректності, бенчмарк-кейси та шаблони WGSL-шейдерів.
Така структура означає, що браузерний генератор зображень може завантажувати лише потрібні ядра, а Hugging Face може надіслати виправлення продуктивності для одного ядра, не торкаючись решти. Для авторів, що створюють або використовують вебнативні інструменти — наприклад, браузерний інпейнтинг або застосунки для перенесення стилю — це різниця між очікуванням цілого релізу рантайму та отриманням цільового прискорення за одну ніч.
Згідно з блогом Hugging Face, бібліотека вже охоплює основні операції, необхідні для трансформерних моделей, включно з шарами уваги та прямого поширення, що домінують у сучасних архітектурах дифузійних і мовних моделей.
Для авторів ШІ-арту найбезпосереднішим наслідком є економічний і практичний. Хмарний інференс для генерації зображень тарифікується за кожен виклик або за секунду часу GPU. Браузерний конвеєр на основі цих ядер має одноразову вартість завантаження, а потім працює безкоштовно, на пристрої, необмежено. Промпти, референсні зображення та результати ніколи не покидають машину — що актуально для авторів, які працюють із клієнтськими матеріалами або особистими референсами, які вони воліють не передавати на сторонній сервер.
Компроміс реальний: GPU ноутбука повільніший за хмарний A100, і дуже великі моделі досі не вміщуються в пам'ять браузера. Але для легших завдань — запуску невеликого апскейлера, застосування LoRA (адаптера дообученої моделі) для коригування стилю або швидкого ітеративного тестування промптів — локальний WebGPU-інференс вже є практичним на споживчому обладнанні середнього класу.
Автори, які хочуть поекспериментувати з браузерною генерацією, можуть дослідити можливості через генератор зображень ШІ від Charmloop або переглянути каталог моделей, щоб дізнатися, які архітектури моделей є кандидатами для такого локального розгортання в міру розвитку інструментів.
Випуск 207 ядер — це фундамент, а не стеля. У міру розширення підтримки WebGPU в браузерах і зростання бібліотеки ядер розрив між хмарною генерацією та повністю локальною генерацією скорочуватиметься — а гайди на Charmloop відстежуватимуть, які робочі процеси першими перетнуть цей поріг.