Переглянь моделі та стилі, що стоять за такими історіями — безкоштовний акаунт, галерея одразу.
OpenAI та Broadcom спільно представили Jalapeño — перший власний кремній OpenAI: ASIC, розроблений спеціально для AI-інференсу. Це перший серйозний крок компанії до зменшення залежності від GPU Nvidia при обслуговуванні своїх моделей.
Більшість новин про чіпи у сфері AI стосуються навчання — величезних GPU-кластерів, які формують ваги моделі. Інференс — це інша половина: кожного разу, коли ви надсилаєте запит і отримуєте відповідь, це і є інференс. Саме ця частина стека працює безперервно, у колосальному масштабі, і безпосередньо визначає, скільки коштує OpenAI відповісти на один запит.
Jalapeño — це ASIC, а отже кожен транзистор у ньому оптимізований під одне завдання. На відміну від Nvidia H100 — гнучкого прискорювача загального призначення, здатного навчати моделі, запускати симуляції або рендерити графіку, — ASIC жертвує гнучкістю заради ефективності. TPU від Google та чіпи Inferentia від Amazon побудовані за тією самою логікою. Для інференсу зокрема цей компроміс зазвичай виправдовує себе: менше енергоспоживання, нижча вартість одного токена та часто менша затримка.
Для авторів, які використовують API OpenAI або GPT-4o через ChatGPT, практичний ефект вгорі ланцюжка є зрозумілим: здешевлення інференсу для OpenAI з часом має перетворитися на щедріші ліміти запитів, нижчі ціни на API або швидший час відповіді — хоча жоден із цих результатів не є гарантованим і не прив'язаний до конкретних термінів.
Broadcom — один із провідних партнерів-виробників для власних AI ASIC: компанія вже виробляє лінійку TPU від Google. Її участь у проєкті Jalapeño для OpenAI свідчить про те, що чіп є серйозним, виробничим кремнієм, а не дослідницьким прототипом. Згідно з репортажами The Verge та TechCrunch, чіп явно призначений для розгортання в інфраструктурі інференсу OpenAI, а не лише для тестування в лабораторії.
Назва Jalapeño різко відрізняється від сухих буквено-цифрових найменувань більшості дата-центрового кремнію — це або брендинговий сигнал, або просто внутрішній кодовий псевдонім, який прижився. OpenAI не уточнювала.
OpenAI витратила мільярди на GPU Nvidia і залишається одним із найбільших клієнтів компанії. Jalapeño не змінює цього миттєво. Навчання фронтирних моделей досі потребує найновішого обладнання Nvidia — кластерів H100 та B200, за якими OpenAI, Microsoft Azure та інші ведуть перегони. Що може зробити Jalapeño — так це зменшити кількість чіпів Nvidia, необхідних OpenAI для обробки навантаження інференсу, яке зростає разом із кожним новим користувачем.
Як повідомляє Ars Technica, чіп позиціонується як частина ширшої стратегії OpenAI для задоволення стрімко зростаючого попиту — проблеми, яка спричиняла помітне обмеження запитів і сповільнення для користувачів API у пікові періоди. Виділений ASIC для інференсу, що працює паралельно з GPU-кластерами, — це стандартний сценарій: Google пройшла цей перехід протягом кількох поколінь TPU, перш ніж її витрати на інференс суттєво знизилися.
Сьогодні нічого не змінюється. Jalapeño анонсовано, але ще не розгорнуто у масштабі. Проте траєкторія важлива для всіх, хто будує пайплайни генерації зображень, воркфлоу з промптами або інструменти для персонажів на основі API OpenAI. Якщо OpenAI зможе обслуговувати інференс дешевше на власному кремнії, крива витрат для GPT-4o та майбутніх моделей піде вниз — а це вхідна вартість для кожного інструменту в екосистемі, що звертається до ендпоінтів OpenAI.
Автори, які вже порівнюють вартість моделей у різних провайдерів перед тим, як зупинитися на певному воркфлоу, мають стежити за тим, чи зміняться ціни на API OpenAI протягом наступних двох-трьох кварталів. Це реалістичне вікно для того, щоб щойно анонсований ASIC досяг значущого масштабу розгортання. Тим часом оголошення підтверджує: OpenAI розглядає потужності інференсу — а не лише можливості моделей — як ключову конкурентну змінну на шляху до всього, що прийде після GPT-4o.
