오픈AI, 자체 칩으로 더 빠르고 효율적으로...

오픈AI의 Jalapeño는 NVIDIA GPU를 전면 대체한 것이 아니라, LLM 추론에 특화된 자체 ASIC으로 전력당 성능과 지연시간을 개선해 ‘추론 경제성’ 경쟁이 본격화됐음을 보여준다.
핵심 경쟁축은 칩 단품 성능에서 AI 모델, SW, 메모리, 네트워크, 칩을 함께 설계하는 Full-Stack 최적화로 이동하고 있다.

 

• 오픈AI가 자체 AI 추론칩 ‘Jalapeño(할라페뇨)’를 개발
  o 브로드컴과 공동 개발한 LLM 추론 전용 ASIC
  o 2026년 말부터 오픈AI 데이터센터에 본격 투입 예정
  o 2세대·3세대 칩 개발도 이미 진행 중
  
• GB300 대비 전력효율·응답속도에서 우위 주장
  o Jalapeño: 700W
  o NVIDIA GB300: 1,400W
  o DeepSeek R1 기준 kW당 처리량 약 1.7배, 엔드투엔드 지연시간 약 3.6배 낮음
  o Kimi K2.5에서도 kW당 처리량 약 1.5배 수준으로 나타남
  
• 단순히 특정 OpenAI 모델에만 최적화된 칩은 아니라는 점이 중요
  o GPT-OSS 120B뿐 아니라 DeepSeek R1, Kimi K2.5에서도 성능을 확인했습니다.
  o 따라서 범용 GPU를 완전히 대체한다기보다 LLM 추론에 특화된 고효율 가속기로 보는 것이 적절합니다.
  
• AI가 AI칩 설계를 가속했다는 점도 중요
  o OpenAI는 모델과 AI 개발도구를 활용해 설계·최적화 과정을 크게 단축했습니다.
  o 설계부터 테이프아웃까지 약 9개월이라는 매우 짧은 개발 사이클을 제시했습니다. 
  
• 하지만 ‘엔비디아를 넘어섰다’고 일반화하면 안 됨
  o 비교 대상은 주로 GB200·GB300입니다.
  o 최신 Vera Rubin과 직접 동일 조건으로 비교한 결과가 아닙니다.
  o 또한 Jalapeño는 학습용이 아니라 추론용입니다. 

[1]: https://openai.com/ko-KR/index/openai-broadcom-jalapeno-inference-chip/ "OpenAI와 Broadcom, LLM 최적화 추론 칩 공개 | OpenAI"
[2]: https://openai.com/index/jalapeno-first-results/ "Jalapeño’s first results show industry-leading speed and efficiency in AI inference | OpenAI"
[3]: https://newsletter.semianalysis.com/p/openai-jalapeno-better-than-nvidia "OpenAI Jalapeño: Better Than Nvidia Blackwell"
[4]: https://openai.com/index/openai-broadcom-jalapeno-inference-chip/ "OpenAI and Broadcom unveil LLM-optimized inference chip | OpenAI"
[5]: https://www.tomshardware.com/tech-industry/artificial-intelligence/hot-chips-2026-openais-jalapeno-ai-asic-unpacked-accelerator-developed-using-ai-achieves-efficiency-and-throughput-gains-against-power-hungry-blackwell "Hot Chips 2026: OpenAI's Jalapeño AI ASIC unpacked — accelerator developed using AI achieves efficiency and throughput gains against power-hungry Blackwell | Tom's Hardware"
[6]: https://openai.com/index/the-full-stack-behind-abundant-intelligence/ "The full stack behind abundant intelligence | OpenAI"
[7]: https://www.axios.com/2026/07/08/nvidia-ai-custom-chips-supply-chain "The AI chip rush is crowding the same narrow pipeline"