GPU 다음 전쟁은 ‘추론’…AI 시대 반도체 판도가 다시 움직인다
생성형 인공지능(AI) 경쟁의 무게중심이 조금씩 이동하고 있다. 지난 몇 년 동안 AI 산업의 핵심 화두가 더 거대한 모델을 만들고 이를 학습시키기 위한 고성능 GPU 확보였다면, 이제 시장은 완성된 AI를 얼마나 빠르고 저렴하게 서비스할 수 있느냐에 주목하기 시작했다.
AI 모델이 실제 사용자에게 답변을 생성하는 과정인 ‘추론(Inference)’이 새로운 경쟁의 중심으로 떠오르고 있기 때문이다.
챗봇과 검색, 번역, 이미지 생성은 물론 최근 확산되는 AI 에이전트까지 실시간 AI 서비스가 늘어나면서 추론에 필요한 연산량도 빠르게 증가하고 있다. 학습은 새로운 모델을 개발할 때 집중적으로 발생하는 반면, 추론은 이용자가 서비스를 사용할 때마다 반복된다.
결국 AI가 일상과 기업 업무에 깊숙이 들어갈수록 데이터센터가 처리해야 하는 추론량은 계속 증가한다. 이 때문에 AI 반도체 시장에서도 단순한 최고 성능보다 전력 소비와 처리 속도, 비용을 함께 따지는 경쟁이 본격화되고 있다.
AI를 만드는 비용에서 AI를 사용하는 비용으로
생성형 AI의 성장 초기에는 학습 경쟁이 시장을 지배했다.
수천억 개의 매개변수를 가진 대규모언어모델을 구축하려면 수천~수만 개의 GPU를 연결해야 했고, 글로벌 빅테크들은 최신 GPU를 확보하기 위해 대규모 투자를 이어갔다. 이 과정에서 엔비디아는 AI 연산의 사실상 표준 플랫폼으로 자리 잡았다.
하지만 모델이 상용 서비스 단계로 진입하면서 비용 구조는 달라지기 시작했다.
AI 모델이 한 번 학습됐다고 해서 추가 비용이 사라지는 것은 아니다. 사용자가 질문을 입력할 때마다 모델은 수많은 연산을 수행하고 새로운 토큰을 생성한다. 이용자가 늘고 답변이 길어질수록 필요한 연산과 전력도 함께 증가한다.
특히 AI 에이전트는 일반적인 챗봇보다 더 많은 연산을 요구할 가능성이 크다. 하나의 질문에 한 번 답하는 대신 여러 단계의 작업을 수행하면서 반복적으로 모델을 호출하기 때문이다.
시장조사업체 트렌드포스는 올해 AI 반도체 시장의 주요 변화 가운데 하나로 ‘학습에서 추론으로의 이동’을 꼽았다. 에이전틱 AI가 확산되면서 단순 연산 성능뿐 아니라 전력과 냉각 비용, 자본 효율성을 개선할 수 있는 추론 특화 칩의 중요성이 커지고 있다는 분석이다.
GPU가 강하지만 모든 연산을 GPU로 할 필요는 없다
현재 AI 데이터센터의 중심은 여전히 GPU다.
GPU는 원래 그래픽 연산을 위해 개발됐지만 수많은 계산을 동시에 처리하는 병렬 연산 구조 덕분에 AI 학습과 추론 모두에서 뛰어난 성능을 보여왔다. 소프트웨어 생태계까지 구축돼 있다는 점도 강점이다.
실제로 엔비디아의 성장세는 여전히 압도적이다. 최근 발표된 2026년 2분기 실적에서 엔비디아의 데이터센터 매출은 890억달러로 전년보다 두 배 이상 증가했다. AI 인프라 투자가 여전히 폭발적인 수준임을 보여주는 수치다.
다만 모든 AI 작업에 범용 GPU가 반드시 최적의 선택인 것은 아니다.
대규모 모델 학습처럼 다양한 연산을 수행해야 하는 경우에는 GPU의 높은 범용성과 유연성이 큰 장점이다. 반면 이미 만들어진 모델을 반복적으로 실행하는 추론에서는 특정 연산에 최적화된 칩을 사용할 경우 전력과 비용을 낮출 수 있는 여지가 있다.
이런 배경에서 NPU와 ASIC 등 AI 전용 반도체가 주목받고 있다.
NPU는 신경망 연산에 특화된 프로세서이고, ASIC은 특정 목적에 맞게 설계된 전용 반도체다. 스마트폰이나 PC에서 사용되던 NPU 개념이 데이터센터로 확대되고 있으며, 빅테크들도 자체 AI 칩을 개발하면서 기존 GPU 중심 구조를 보완하려 하고 있다.
AI 반도체 경쟁의 기준도 ‘성능’에서 ‘경제성’으로
추론 시장이 커지면서 반도체의 평가 방식도 달라지고 있다.
과거에는 초당 얼마나 많은 연산을 할 수 있는지가 중요한 지표였다면 이제는 같은 전력으로 얼마나 많은 AI 응답을 처리할 수 있는지, 사용자가 느끼는 지연시간이 얼마나 짧은지, 토큰 한 개를 생성하는 데 얼마의 비용이 드는지가 함께 중요해지고 있다.
엔비디아도 최근 자사의 추론 플랫폼을 설명하면서 ‘토큰당 비용’과 ‘전력당 처리량’을 핵심 지표로 내세우고 있다. 회사 측은 Blackwell Ultra 기반 시스템이 이전 Hopper 세대보다 에이전틱 AI 환경에서 토큰당 비용과 전력 효율을 크게 개선했다고 설명한다. 다만 해당 수치는 엔비디아 자체 및 제3자 벤치마크를 토대로 한 것이어서 실제 운영 환경에서는 모델과 서비스 형태에 따라 차이가 발생할 수 있다.
중요한 것은 특정 제품의 수치보다 시장이 무엇을 평가하기 시작했느냐다.
AI 서비스 업체 입장에서는 모델이 아무리 뛰어나도 사용자 한 명당 발생하는 추론 비용이 지나치게 높으면 서비스 확장이 어렵다. 이용자가 수천만 명, 수억 명으로 늘어날수록 작은 비용 차이가 전체 인프라 비용에서는 거대한 차이로 확대된다.
따라서 앞으로 AI 기업의 경쟁력은 모델 성능뿐 아니라 ‘얼마나 저렴하게 AI를 실행할 수 있느냐’와 연결될 가능성이 높다.
빅테크까지 자체 추론칩 개발하는 이유
추론 경제성이 중요해지면서 글로벌 AI 기업들도 직접 반도체 설계에 뛰어들고 있다.
최근에는 OpenAI가 브로드컴과 함께 개발한 첫 자체 추론용 ASIC ‘Jalapeño’의 성능 정보를 공개하면서 관심을 끌었다. 공개된 벤치마크에서는 일부 추론 작업에서 기존 GPU 대비 높은 전력 효율과 낮은 지연시간을 보였다고 회사 측은 설명했다. 제한적인 배치는 2026년 말부터 시작될 예정이다.
이는 글로벌 AI 기업들이 단순히 최고의 GPU를 구매하는 데 그치지 않고 자신의 서비스에 최적화된 반도체를 직접 확보하려는 움직임을 보여준다.
구글의 TPU, 아마존의 Trainium·Inferentia처럼 빅테크의 자체 AI 반도체 전략도 같은 맥락에서 볼 수 있다. 모든 업무를 GPU 하나로 처리하는 대신 학습과 추론, 특정 서비스에 맞춰 서로 다른 종류의 가속기를 조합하려는 것이다.
향후 데이터센터는 GPU와 CPU, NPU, ASIC 등 여러 종류의 반도체가 공존하는 구조로 발전할 가능성이 높다.
한국 AI 반도체에도 열리는 새로운 틈
추론 중심의 시장 변화는 한국 AI 반도체 산업에도 중요한 의미를 가진다.
AI 학습용 초고성능 GPU 시장에서는 이미 엔비디아가 강력한 기술력과 소프트웨어 생태계를 구축하고 있다. 후발 기업이 같은 방식으로 정면 경쟁하기는 쉽지 않다.
반면 추론 시장은 상황이 다르다.
서비스 종류와 모델의 크기, 요구되는 속도와 전력 수준에 따라 필요한 반도체 구조가 달라질 수 있기 때문이다. 기업용 AI, 공공 AI, 엣지 AI, 로봇, 자동차처럼 사용 환경이 세분화될수록 특정 목적에 최적화된 반도체가 경쟁력을 가질 가능성도 커진다.
한국이 강점을 가진 메모리 반도체와 AI 가속기를 결합하는 전략도 중요하다. AI 모델이 커질수록 연산장치 자체의 성능뿐 아니라 데이터를 얼마나 빠르게 전달할 수 있는지가 중요해지기 때문이다.
현재 글로벌 AI 인프라 확대와 함께 고대역폭메모리(HBM)의 중요성이 급격히 커진 것도 같은 이유다.
따라서 한국 AI 반도체 산업의 기회는 또 하나의 범용 GPU를 만드는 데만 있지 않을 수 있다. 메모리와 패키징, 가속기, 소프트웨어를 결합해 특정 추론 시장에서 경쟁력을 만드는 전략이 더 현실적인 선택지가 될 수 있다.
AI 시대의 진짜 경쟁은 ‘전기요금’까지 내려간다
추론 경쟁은 결국 반도체만의 문제가 아니다.
AI 데이터센터가 사용하는 전력과 냉각 비용이 급증하면서 같은 성능을 더 적은 전력으로 구현하는 능력이 산업 경쟁력과 직접 연결되고 있다.
데이터센터 운영자는 반도체 가격뿐 아니라 서버 설치 비용, 전력 사용량, 냉각 설비, 네트워크와 유지 비용까지 포함한 전체 비용을 따져야 한다. AI 서비스가 장기간 운영될수록 초기 장비 가격보다 운영 과정에서 발생하는 비용이 더 중요해질 수 있다.
이 때문에 앞으로 AI 반도체 시장은 ‘가장 빠른 칩’을 만드는 경쟁에서 ‘가장 경제적으로 AI를 실행하는 시스템’을 만드는 경쟁으로 확대될 가능성이 크다.
GPU의 시대가 끝난다는 의미는 아니다. 오히려 AI 수요가 폭발적으로 증가하면서 GPU 시장 역시 계속 성장할 가능성이 높다.
다만 AI 산업의 규모가 커질수록 하나의 반도체가 모든 영역을 담당하기는 어려워진다. GPU가 학습과 범용 AI 연산의 핵심을 유지하는 가운데 NPU와 ASIC, 각종 추론 가속기가 서로 다른 영역을 차지하는 다층적인 시장이 형성될 가능성이 높다.
AI 반도체 경쟁의 다음 승부처는 이제 단순한 연산 속도가 아니다.
얼마나 적은 전력과 비용으로 더 많은 사용자의 질문에 빠르게 답할 수 있는가. AI가 연구실을 넘어 사회 전체의 서비스 인프라로 확산될수록 이 질문이 반도체 산업의 판도를 결정할 가능성이 커지고 있다.