OpenAI의 첫 번째 커스텀 칩, 이름은 Jalapeño — 모델 접근성에 미치는 의미

OpenAI와 Broadcom이 공동으로 Jalapeño를 공개했습니다. OpenAI 최초의 커스텀 실리콘으로, AI 추론 전용으로 설계된 ASIC입니다. 이는 모델 서비스를 위해 Nvidia GPU에 의존해 온 구조에서 벗어나려는 회사의 첫 번째 본격적인 행보입니다.

핵심 요약

• Jalapeño는 ASIC(Application-Specific Integrated Circuit)입니다. 즉, AI 추론 워크로드 실행이라는 단 하나의 목적을 위해 설계된 칩으로, 학습용이 아닙니다.
• OpenAI는 Broadcom과의 협력을 통해 Jalapeño를 설계했으며, 현재 및 미래의 대규모 언어 모델을 대규모로 구동하기 위한 목적으로 만들어졌습니다.
• 커스텀 추론 실리콘은 일반적으로 범용 GPU 대비 쿼리당 비용과 지연 시간을 줄여줍니다. 이 두 가지 요소는 사용자가 얼마나 빠르고 자주 생성할 수 있는지에 가장 직접적인 영향을 미칩니다.
• 이것이 당장 OpenAI 스택에서 Nvidia를 대체하지는 않습니다. OpenAI가 자체 용량을 확장하는 동안 기존 GPU 인프라를 보완하는 역할을 합니다.
• 이 칩은 잠재적 IPO를 앞두고 자체 컴퓨팅 공급망을 더 많이 통제하려는 OpenAI의 의도를 보여줍니다.

학습 칩보다 추론 실리콘이 더 중요한 이유

AI 분야의 칩 관련 뉴스는 대부분 학습에 초점을 맞춥니다. 모델에 가중치를 가르치는 거대한 GPU 클러스터가 그 주인공입니다. 추론은 그 반대편에 있습니다. 프롬프트를 입력하고 응답을 받을 때마다 바로 추론이 일어납니다. 추론은 스택에서 지속적으로, 대규모로 실행되는 부분이며, OpenAI가 쿼리 하나에 얼마를 지출하는지를 직접적으로 결정합니다.

Jalapeño는 ASIC이므로 칩 위의 모든 트랜지스터가 하나의 목적에 최적화되어 있습니다. 모델 학습, 시뮬레이션 실행, 그래픽 렌더링 등 다양한 용도로 활용 가능한 유연한 범용 가속기인 Nvidia H100과 달리, ASIC은 유연성을 효율성과 맞바꿉니다. Google의 TPU와 Amazon의 Inferentia 칩도 같은 논리를 따릅니다. 추론에 한해서는 이 트레이드오프가 대개 유리하게 작용합니다. 전력 소비 감소, 토큰당 비용 절감, 그리고 종종 더 낮은 지연 시간을 실현할 수 있습니다.

OpenAI의 API나 ChatGPT를 통해 GPT-4o를 사용하는 크리에이터 입장에서 실질적인 상류 효과는 명확합니다. OpenAI의 추론 비용 절감은 결국 더 넉넉한 요청 한도, 낮아진 API 가격, 또는 빠른 응답 시간으로 이어질 수 있습니다. 다만 이러한 결과가 보장되거나 구체적인 일정이 제시된 것은 아닙니다.

Broadcom의 역할이 말해주는 것

Broadcom은 커스텀 AI ASIC 분야의 선도적인 파운드리 파트너 중 하나로, 이미 Google의 TPU 라인을 제조하고 있습니다. OpenAI의 Jalapeño에 Broadcom이 참여했다는 사실은 이 칩이 연구용 프로토타입이 아닌 진지한 양산 수준의 실리콘임을 시사합니다. The Verge와 TechCrunch의 보도에 따르면, 이 칩은 단순히 실험실에서 벤치마크를 측정하는 용도가 아니라 OpenAI의 추론 인프라에 실제로 배포하기 위한 목적으로 명시적으로 설계되었습니다.

「Jalapeño」라는 이름은 대부분의 데이터센터 실리콘에서 흔히 볼 수 있는 건조한 영숫자 명칭과는 거리가 있습니다. 브랜딩 신호일 수도 있고, 그냥 굳어버린 내부 코드명일 수도 있습니다. OpenAI는 이에 대해 명확히 밝히지 않았습니다.

Nvidia 의존도 문제

OpenAI는 Nvidia GPU에 수십억 달러를 투자했으며, 여전히 Nvidia의 최대 고객 중 하나입니다. Jalapeño가 이 상황을 하룻밤 사이에 바꾸지는 않습니다. 프론티어 모델 학습에는 여전히 Nvidia의 최신 하드웨어가 필요합니다. OpenAI, Microsoft Azure 등이 앞다퉈 확보하려는 H100과 B200 클러스터가 그 예입니다. Jalapeño가 할 수 있는 것은, 신규 사용자 증가에 따라 늘어나는 추론 부하를 처리하는 데 필요한 Nvidia 칩의 수를 줄이는 것입니다.

Ars Technica의 보도에 따르면, 이 칩은 급증하는 수요를 따라잡기 위한 OpenAI의 더 넓은 전략의 일환으로 제시되었습니다. 이 수요 급증은 피크 시간대에 API 사용자들이 체감할 수 있는 요청 제한과 속도 저하를 야기해 왔습니다. GPU 클러스터와 병렬로 운영되는 전용 추론 ASIC은 표준적인 전략입니다. Google도 여러 세대의 TPU를 거치며 이 전환을 진행한 끝에 추론 비용을 실질적으로 낮출 수 있었습니다.

OpenAI 모델을 사용하는 크리에이터에게 달라지는 것

오늘 당장 달라지는 것은 없습니다. Jalapeño는 발표된 것이지, 아직 대규모로 배포된 것이 아닙니다. 하지만 OpenAI의 API를 기반으로 이미지 생성 파이프라인, 프롬프트 워크플로, 또는 캐릭터 도구를 구축하는 사람이라면 이 방향성이 중요합니다. OpenAI가 자체 실리콘으로 더 저렴하게 추론을 제공할 수 있게 된다면, GPT-4o와 미래 모델의 비용 곡선은 하향 곡선을 그리게 됩니다. 이는 OpenAI 엔드포인트를 호출하는 생태계 내 모든 도구의 입력 비용에 해당합니다.

워크플로를 결정하기 전에 이미 공급자별 모델 비용을 비교하는 크리에이터라면, 향후 2~3분기 내에 OpenAI의 API 가격이 움직이는지 주목해야 합니다. 새로 발표된 ASIC이 의미 있는 배포 규모에 도달하기까지 현실적으로 필요한 시간이 바로 그 정도입니다. 그 사이, 이번 발표는 OpenAI가 GPT-4o 이후를 준비하면서 모델 성능뿐만 아니라 추론 용량 자체를 핵심 경쟁 변수로 다루고 있음을 확인해 줍니다.