Полистай модели и стили, что стоят за такими историями — бесплатный аккаунт, галерея сразу.
OpenAI и Broadcom совместно представили Jalapeño — первый кастомный кремний OpenAI: ASIC, разработанный специально для AI-инференса. Это первый серьёзный шаг компании к снижению зависимости от GPU Nvidia при обслуживании своих моделей.
Большинство новостей о чипах в сфере AI посвящены обучению — огромным GPU-кластерам, которые обучают модель её весам. Инференс — это вторая половина: каждый раз, когда вы отправляете запрос и получаете ответ, это и есть инференс. Именно эта часть стека работает непрерывно, в колоссальном масштабе, и напрямую определяет, во сколько OpenAI обходится ответ на один запрос.
Jalapeño — это ASIC, а значит, каждый транзистор в нём оптимизирован под одну задачу. В отличие от Nvidia H100 — гибкого ускорителя общего назначения, способного обучать модели, запускать симуляции или рендерить графику, — ASIC жертвует гибкостью ради эффективности. TPU от Google и чипы Inferentia от Amazon следуют той же логике. Для инференса в частности этот компромисс, как правило, оправдан: меньше энергопотребление, ниже стоимость одного токена и зачастую меньше задержка.
Для создателей, использующих API OpenAI или GPT-4o через ChatGPT, практический эффект очевиден: более дешёвый инференс для OpenAI в конечном счёте должен вылиться в более щедрые лимиты запросов, снижение цен на API или ускорение времени ответа — хотя ни один из этих результатов не гарантирован и не привязан к конкретным срокам.
Broadcom — один из ведущих партнёров-производителей кастомных AI ASIC: компания уже производит линейку TPU для Google. Её участие в создании Jalapeño для OpenAI свидетельствует о том, что чип является серьёзным, производственным кремнием, а не исследовательским прототипом. По данным The Verge и TechCrunch, чип явно предназначен для развёртывания в инференс-инфраструктуре OpenAI, а не просто для тестирования в лаборатории.
Название Jalapeño разительно отличается от сухих буквенно-цифровых обозначений большинства дата-центровых чипов — это либо брендинговый сигнал, либо просто внутреннее кодовое имя, которое прижилось. OpenAI не уточняла.
OpenAI потратила миллиарды на GPU Nvidia и остаётся одним из крупнейших клиентов компании. Jalapeño не изменит это в одночасье. Обучение фронтирных моделей по-прежнему требует новейшего оборудования Nvidia — кластеров H100 и B200, за которыми OpenAI, Microsoft Azure и другие игроки ведут настоящую гонку. Что Jalapeño действительно может сделать — так это сократить количество чипов Nvidia, необходимых OpenAI для обработки инференс-нагрузки, которая растёт вместе с каждым новым пользователем.
Как сообщает Ars Technica, чип позиционируется как часть более широкой стратегии OpenAI по удовлетворению стремительно растущего спроса — проблемы, которая уже приводила к заметным ограничениям частоты запросов и замедлениям для пользователей API в пиковые периоды. Выделенный инференс-ASIC, работающий параллельно с GPU-кластерами, — стандартный сценарий: Google прошла этот переход через несколько поколений TPU, прежде чем её затраты на инференс существенно снизились.
Сегодня не меняется ничего. Jalapeño анонсирован, но ещё не развёрнут в масштабе. Однако траектория важна для всех, кто строит пайплайны генерации изображений, рабочие процессы с промптами или инструменты для персонажей поверх API OpenAI. Если OpenAI сможет обслуживать инференс дешевле на собственном кремнии, кривая стоимости GPT-4o и будущих моделей пойдёт вниз — а это входная стоимость для каждого инструмента в экосистеме, обращающегося к эндпоинтам OpenAI.
Создателям, которые уже сравнивают стоимость моделей у разных провайдеров перед выбором рабочего процесса, стоит следить за тем, изменятся ли цены на API OpenAI в ближайшие два-три квартала. Это реалистичное окно для того, чтобы недавно анонсированный ASIC достиг значимого масштаба развёртывания. Тем временем анонс подтверждает: OpenAI рассматривает мощности для инференса — а не только возможности моделей — как ключевую конкурентную переменную в преддверии всего, что последует за GPT-4o.
