OpenAI가 칩을 직접 만든다: '할라피뇨'가 엔비디아 제국에 던진 출사표

AI 업계에서 가장 비싼 단어가 뭔지 아십니까. 바로 “엔비디아"입니다. ChatGPT를 굴리는 OpenAI는 매년 수십억 달러를 GPU 구매와 임대에 쏟아붓고 있습니다. 그런 OpenAI가 드디어 칼을 빼 들었습니다. 브로드컴(Broadcom)과 손잡고 자체 추론 칩을 직접 설계하기로 한 겁니다. 코드네임은 ‘할라피뇨(Jalapeno)‘입니다.

먼저 솔직하게 말씀드릴 게 있는데요. 이 주제는 아직 커뮤니티에서 활발하게 논의되는 단계는 아닙니다. 최근 한 달간 레딧이나 해커뉴스에서 관련 토론을 충분히 확보하지 못했습니다. 그래서 오늘 글은 커뮤니티 반응 중심이 아니라, 이 움직임이 왜 중요한지 그 구조를 짚어보는 데 집중하겠습니다.

왜 하필 ‘추론’ 칩인가

여기서 핵심 개념 하나만 짚고 가겠습니다. AI 칩은 크게 두 가지 일을 합니다. 하나는 학습(training)입니다. 모델을 처음부터 똑똑하게 만드는 과정인데요. 어마어마한 연산이 필요하고, 여기서는 엔비디아의 최고급 GPU가 사실상 독보적입니다.

다른 하나는 추론(inference)입니다. 이미 학습된 모델이 사용자의 질문에 답을 내놓는 과정입니다. 여러분이 ChatGPT에 무언가 물어볼 때마다 일어나는 일이 바로 추론입니다.

OpenAI가 노린 건 두 번째, 추론입니다. 이유는 단순합니다. 학습은 한 번 크게 하면 되지만, 추론은 사용자가 늘어날수록 무한히 반복됩니다. 사용자가 수억 명이라면 추론 비용이 학습 비용을 압도하게 됩니다. 즉 OpenAI 입장에서 진짜 돈이 새는 구멍은 추론 쪽입니다.

자체 칩으로 이 반복 비용을 단 몇 퍼센트만 줄여도, 절대 금액으로는 수억 달러가 굳습니다. 할라피뇨가 추론에 특화된 이유가 여기에 있습니다.

왜 브로드컴이었을까

OpenAI가 직접 반도체 공장을 짓는 건 아닙니다. 칩 설계와 제조는 전혀 다른 영역인데요. 여기서 브로드컴의 역할이 등장합니다.

브로드컴은 일반 소비자에게는 낯설지만, 업계에서는 맞춤형 칩(ASIC) 설계의 강자입니다. 쉽게 말해 “당신이 원하는 기능만 담은 전용 칩을 함께 만들어주는” 회사입니다. 이미 구글의 자체 AI 칩 TPU 개발에도 깊숙이 관여한 전력이 있습니다.

OpenAI는 자신들이 어떤 모델을 어떻게 돌리는지 누구보다 잘 압니다. 브로드컴은 그 요구사항을 실제 실리콘으로 구현하는 노하우가 있습니다. 둘의 조합은 “범용 GPU를 비싸게 사서 일부 기능만 쓰는” 비효율을 정면으로 겨냥합니다.

엔비디아의 GPU는 만능 칩입니다. 무엇이든 잘하지만, 그래서 OpenAI가 쓰지 않는 기능에도 비용을 치러야 합니다. 맞춤형 칩은 정반대입니다. OpenAI에게 필요한 것만 담아 효율을 극대화합니다.

이게 엔비디아 독점에 던지는 진짜 도전

자, 그럼 엔비디아가 휘청일까요. 단기적으로는 아닙니다. 학습 시장에서 엔비디아의 자리는 여전히 굳건합니다. 할라피뇨가 나와도 OpenAI는 한동안 엔비디아 GPU를 계속 대량으로 살 겁니다.

진짜 변화는 다른 데 있습니다. 바로 협상력입니다.

지금까지 AI 기업들은 엔비디아 앞에서 을이었습니다. 칩이 부족하니 부르는 값에 줄을 서야 했습니다. 그런데 가장 큰 고객인 OpenAI가 “우리는 자체 칩도 있다"고 말할 수 있게 되면 이야기가 달라집니다. 가격 협상의 무게추가 조금이라도 고객 쪽으로 기웁니다.

이 흐름은 OpenAI만의 일이 아닙니다. 구글은 이미 TPU를 쓰고, 아마존은 트레이니움과 인퍼런시아를, 메타도 자체 칩을 개발 중입니다. 빅테크들이 하나둘 “엔비디아 의존 탈출"을 시도하고 있는 겁니다. 할라피뇨는 그 합창에 OpenAI가 합류했다는 신호입니다.

그래도 넘어야 할 산

물론 장밋빛 전망만 있는 건 아닙니다. 자체 칩 개발은 돈 먹는 하마입니다. 설계부터 양산까지 수년이 걸리고, 한 번 실패하면 손실이 막대합니다.

게다가 엔비디아의 진짜 무기는 칩 자체가 아니라 쿠다(CUDA)라는 소프트웨어 생태계입니다. 전 세계 개발자들이 수년간 쌓아온 이 환경을 떠나 자체 칩용 소프트웨어를 새로 갖추는 건 결코 쉬운 일이 아닙니다. 칩만 만든다고 끝이 아니라는 뜻입니다.

그래서 할라피뇨가 엔비디아를 대체하는 그림은 비현실적입니다. 현실적인 그림은 “병행"입니다. 학습과 까다로운 작업은 엔비디아에, 대량 반복되는 추론은 자체 칩에 맡기는 분업 구조입니다.

마무리

할라피뇨는 단순한 신제품 소식이 아닙니다. AI 시대의 권력 구조가 재편되기 시작했다는 신호입니다. 칩을 사는 자에서 만드는 자로, OpenAI의 정체성이 한 단계 넓어지는 순간이기도 합니다.

결국 질문은 이겁니다. AI의 미래를 모델 회사가 쥘 것인가, 아니면 그 모델을 돌리는 칩을 쥔 회사가 쥘 것인가. OpenAI는 이제 둘 다 가지려 합니다. 여러분은 이 베팅이 성공할 거라고 보시나요.