GLM을 중국산 칩으로 돌린다면, AI가 엔비디아의 빈자리를 메울까

핵심 요약

• AI는 추론 소프트웨어의 비효율을 줄일 수 있지만, 칩의 물리적 한계를 없애지는 못합니다.
• 중국산 가속기의 경쟁력은 칩의 국적보다 모델과 서비스 조건에 맞춰 평가해야 합니다.
• 성능을 비교할 때는 답변 품질, 응답 지연, 동시 사용자 수를 함께 봐야 합니다.
• 엔비디아 의존을 줄이려면 모델 업데이트와 장애 대응까지 계속 감당할 수 있어야 합니다.

AI 서비스에서는 똑똑한 답변만큼 그 답변을 만드는 데 드는 비용도 중요합니다. Z.ai의 GLM-5.3-Flash를 중국산 AI 가속기에서 운영한다고 가정해 보겠습니다. 인프라를 최적화하는 AI까지 투입하면 엔비디아 의존을 얼마나 줄일 수 있을까요?

칩을 바꾸는 일은 부품 교체로 끝나지 않습니다

추론은 학습을 마친 모델이 사용자의 질문을 받아 답변을 만드는 과정입니다. 이때 모델의 계산을 실제 장비에서 빠르게 처리할 수 있도록 연결해 주는 소프트웨어가 필요합니다.

엔비디아 환경에 맞춰 작성한 코드가 다른 가속기에서도 똑같이 빠르게 실행된다는 보장은 없습니다. 칩마다 메모리를 다루는 방식이 다르고, 효율적으로 처리하는 연산도 다르기 때문입니다.

이때 자주 나오는 용어가 커널입니다. AI 모델을 이루는 개별 계산을 장비에서 실행하는 작은 프로그램이라고 보면 됩니다. 같은 계산을 하더라도 커널을 어떻게 짜느냐에 따라 데이터를 옮기는 횟수와 대기 시간이 달라집니다.

그래서 추론이 느리다는 이유만으로 칩 자체의 성능이 부족하다고 단정하기는 어렵습니다. 소프트웨어가 장비의 성능을 충분히 끌어내지 못하고 있을 수도 있습니다. 물론 코드를 최적화해도 넘을 수 없는 하드웨어 한계는 있습니다.

Infra Agent가 줄일 수 있는 것은 ‘낭비’입니다

여기서는 병목을 찾아 설정이나 연산 코드를 고치고, 그 결과를 시험하는 AI 에이전트를 Infra Agent라고 부르겠습니다. 특정 제품에서 이런 기능을 이미 검증했다는 뜻은 아닙니다. 이런 역할의 에이전트가 추론 인프라에 참여한다고 가정하겠습니다.

예를 들어 계산 자체보다 데이터를 옮기는 데 시간이 더 많이 걸린다고 해보겠습니다. 에이전트는 불필요한 복사를 줄이거나 여러 연산을 묶어볼 수 있습니다. 한꺼번에 처리할 요청의 수를 조정하는 방법도 있습니다.

다만 한쪽을 개선하면 다른 쪽에서 손해를 볼 수도 있습니다. 요청을 더 많이 모아서 처리하면 장비 활용률은 높아질 수 있지만, 사용자는 답변이 시작될 때까지 더 오래 기다릴 수 있습니다. 메모리를 아끼려고 계산 정밀도를 낮춘다면 답변 품질도 다시 확인해야 합니다.

AI는 이런 조합을 찾아 시험하는 일을 도울 수 있습니다. 그렇다고 메모리 용량을 늘리거나 장비 사이의 통신 속도까지 높여주지는 못합니다.

AI가 줄일 여지가 있는 것은 장비가 낼 수 있는 성능과 현재 소프트웨어가 끌어내는 성능의 차이입니다. 이것을 두 칩 사이의 모든 성능 차이를 없앨 수 있다는 뜻으로 받아들여서는 안 됩니다.

‘몇 배 빨라졌다’보다 비교 조건이 먼저입니다

가령 어떤 최적화로 처리량이 2배가 됐다고 해보겠습니다. 눈길이 가는 숫자지만, 그것만으로 엔비디아 장비를 대체할 수 있다고 판단하기는 어렵습니다.

먼저 무엇과 비교했는지 봐야 합니다. 비효율적인 초기 설정에서 2배가 된 것인지, 이미 충분히 최적화한 설정에서 2배가 된 것인지에 따라 의미가 달라집니다.

답변 조건도 살펴야 합니다. 같은 모델이라도 질문과 답변이 얼마나 긴지에 따라 부하가 달라집니다. 계산 정밀도나 답변 품질이 다르다면 속도만 놓고 비교하기 어렵습니다.

사용자가 기다리는 시간도 나눠봐야 합니다. 질문을 보내고 첫 글자가 나올 때까지 걸리는 시간과 답변 전체가 완성될 때까지 걸리는 시간은 다릅니다. 평균이 괜찮더라도 일부 요청이 유난히 오래 걸리면 사용자는 답답함을 느낍니다.

동시 사용자 수도 중요합니다. 혼자 쓸 때 빠른 설정이 100명이 함께 접속했을 때도 유리하다는 보장은 없습니다.

제가 대체 가능성을 판단할 때 먼저 보고 싶은 숫자는 최고 처리량보다 같은 답변 품질과 대기 시간 조건에서의 요청당 비용입니다. 전력과 장비 수는 물론, 운영에 필요한 인력까지 비용에 넣어야 실제 사업에 얼마나 드는지 알 수 있습니다.

모델을 업데이트한 뒤에도 엔비디아 의존을 줄일 수 있어야 합니다

특정 모델을 한 번 실행하는 것과 서비스를 계속 운영하는 것은 다른 일입니다. 모델을 바꾸거나 더 긴 문서를 처리해야 할 때도 성능을 유지할 수 있어야 합니다.

이때는 최적화를 반복하는 데 드는 비용도 따져야 합니다. 모델이 바뀔 때마다 커널을 대폭 수정해야 한다면, 장비를 사면서 아낀 비용을 개발과 검증에 다시 쓰게 될 수 있습니다.

Infra Agent도 이런 작업에 얼마나 도움이 되는지 봐야 합니다. 코드를 얼마나 많이 만들었는지보다 수정한 내용이 정확한지 검증하고, 문제가 생기면 이전 상태로 되돌릴 수 있는지가 중요합니다. 한 종류의 질문에서는 성능이 좋아졌더라도 다른 요청에서는 오히려 나빠지지 않았는지 확인해야 합니다.

엔비디아 의존도를 낮추려고 장비를 한꺼번에 모두 바꿀 필요는 없습니다. 비용과 성능 조건이 맞는 작업부터 다른 가속기로 옮길 수도 있습니다. 중국산 칩이라는 큰 분류로 판단하기보다는, 특정 장비에서 특정 모델을 운영한 결과를 기준으로 삼아야 합니다.

AI는 대체 하드웨어를 쓰는 과정에서 시행착오를 줄여줄 수 있습니다. 다만 엔비디아 의존을 줄였다고 말하려면 같은 서비스 품질을 유지하면서 감당할 수 있는 비용으로 계속 운영할 수 있어야 합니다. GLM 추론 인프라에서도 “오늘 얼마나 빨라졌는가”와 함께 “다음 모델 업데이트 뒤에도 이 이점을 유지할 수 있는가?”를 따져봐야 합니다.