AI 경쟁, 이제 ‘더 큰 모델’이 아니다…엔비디아가 추론칩에 200억달러를 건 이유
생성형 인공지능 경쟁의 무게중심이 빠르게 이동하고 있다. 지난 몇 년 동안 AI 기업들이 가장 치열하게 겨룬 영역이 얼마나 큰 모델을 학습시키고 얼마나 많은 GPU를 확보하느냐였다면, 이제는 이미 학습된 모델을 실제 서비스에서 얼마나 빠르고 저렴하게 돌릴 수 있느냐가 새로운 승부처로 떠오르고 있다. 특히 사용자의 질문에 한 번 답하는 챗봇을 넘어 스스로 검색하고 코드를 작성하고 여러 도구를 호출하며 수십·수백 단계의 작업을 수행하는 AI 에이전트가 확산하면서, 데이터센터가 처리해야 하는 추론량은 이전과 비교하기 어려울 정도로 커지고 있다.
이 변화를 가장 공격적으로 좇는 기업이 엔비디아다. 엔비디아는 8월 24일 ‘Groq 3 LPX’를 본격 양산한다고 발표했다. 엔비디아가 약 200억달러에 인수한 AI 반도체 기업 그록(Groq)의 기술을 자사 차세대 베라 루빈(Vera Rubin) 플랫폼에 결합한 첫 본격적인 추론 가속기다. AI 클라우드 업체 네비우스가 첫 도입 고객으로 나섰으며, 엔비디아는 LPX를 기존 GPU를 대체하는 칩이 아니라 GPU가 처리하기 어려운 초저지연 추론 영역을 보완하는 장치로 배치했다.
핵심은 칩 하나가 더 추가됐다는 데 있지 않다. 엔비디아가 GPU와 CPU, 네트워크에 이어 추론 전용 가속기까지 직접 품으면서 AI 데이터센터의 전체 계산 구조를 다시 설계하고 있다는 점이 중요하다. 모델을 훈련시키는 시대에는 GPU의 계산능력이 가장 중요한 경쟁력이었다면, 에이전트 시대에는 사용자가 기다리지 않을 만큼 빠른 응답 속도와 토큰당 비용, 전력효율, 긴 문맥을 처리하는 능력이 모두 동시에 중요해진다.
AI 산업의 질문도 달라지고 있다.
누가 가장 큰 모델을 만들 수 있는가에서, 누가 그 모델을 가장 싸고 빠르게 수억 명에게 제공할 수 있는가로 넘어가는 중이다.
AI에서 ‘학습’보다 ‘추론’이 중요해지는 이유
AI 반도체 시장을 이해하려면 학습과 추론을 구분해야 한다. 학습은 방대한 데이터를 이용해 모델의 가중치를 만들어내는 과정이고, 추론은 이미 만들어진 모델이 사용자의 질문을 받아 실제 답을 생성하는 과정이다.
ChatGPT 같은 서비스가 처음 등장했을 때 시장의 관심은 대부분 학습에 있었다. 더 많은 GPU를 연결하고 더 큰 데이터셋을 투입해 성능이 높은 모델을 만드는 것이 경쟁력의 핵심으로 여겨졌기 때문이다. 엔비디아가 AI 붐의 최대 수혜자가 된 것도 H100과 Blackwell 같은 GPU가 대규모 모델 학습에 사실상의 표준으로 자리 잡은 영향이 컸다.
하지만 AI가 실제 업무에 들어오기 시작하면서 비용 구조가 달라지고 있다.
모델을 한 번 학습하는 데 막대한 비용이 들더라도 그 모델을 수천만 명이 매일 사용한다면 장기간 누적되는 추론비용이 훨씬 커질 수 있다. 특히 에이전트형 AI는 한 번의 질문에 한 번 답하고 끝나는 기존 챗봇보다 더 많은 계산을 필요로 한다.
엔비디아가 인용한 OpenRouter 데이터에 따르면 에이전트형 AI 작업은 일반적인 채팅 요청보다 약 15배 많은 토큰을 사용할 수 있다. 기업 분석을 예로 들면 에이전트가 재무자료를 검색하고 공시를 읽고 경쟁사를 비교한 뒤 별도의 하위 에이전트를 불러 가치평가를 수행하고 마지막으로 결과를 종합하는 과정이 이어진다. 각각의 단계에서 새로운 입력과 출력 토큰이 발생하며, 이전 단계의 내용이 다음 단계의 문맥에 다시 포함된다.
에이전트가 더 똑똑해질수록 계산량 역시 늘어나는 구조다.
왜 GPU만으로는 부족하다고 판단했나
GPU는 수많은 계산을 병렬로 처리하는 데 강하다. 대규모 모델을 학습하거나 여러 사용자의 추론 요청을 한꺼번에 처리할 때 높은 효율을 낼 수 있다.
그러나 사용자가 체감하는 AI 서비스의 품질에는 또 다른 요소가 있다.
얼마나 빨리 첫 번째 답이 나오고, 이후 토큰이 얼마나 빠르게 생성되는지다.
사람이 AI와 대화할 때 한두 초의 지연은 크게 느껴지지 않을 수 있지만, 에이전트가 수백 차례 모델을 호출하는 업무에서는 작은 지연이 계속 누적된다. 한 단계가 1초씩 늦어지고 이를 100번 반복하면 최종 작업시간은 크게 늘어난다.
코딩 에이전트에서는 문제가 더 뚜렷하다. AI가 코드를 작성한 뒤 실행하고 오류 메시지를 읽고 수정한 다음 다시 테스트하는 순환을 반복하기 때문에 각 추론 단계의 지연시간이 전체 생산성에 직접 영향을 미친다.
Groq가 오랫동안 집중한 분야가 바로 이 저지연 추론이다.
그록의 LPU(Language Processing Unit)는 GPU와 다른 구조를 사용해 계산과 메모리 이동을 미리 계획하고 실행하도록 설계됐다. 많은 작업을 동적으로 스케줄링하는 GPU와 달리 컴파일 단계에서 계산 순서를 세밀하게 정해 지연을 줄이는 방향이다.
엔비디아가 그록을 인수한 이유도 자신이 장악하고 있는 대규모 병렬처리 영역에 초고속 인터랙티브 추론이라는 새로운 축을 더하기 위해서라고 볼 수 있다.
초당 3400토큰…숫자보다 중요한 것은 ‘긴 문맥에서도 속도가 유지되느냐’
엔비디아가 공개한 Groq 3 LPX의 성능에서 가장 눈에 띄는 부분은 긴 문맥을 처리할 때의 토큰 생성속도다.
회사는 Artificial Analysis의 10만 토큰 장문맥 벤치마크에서 Gemma 4 31B 모델을 구동한 결과 초당 약 3431개의 출력 토큰을 기록했다고 밝혔다. 엔비디아 설명에 따르면 비교 대상 가운데 가장 가까운 플랫폼보다 약 4배 빠른 수준이다. 코딩 중심 SPEED-Bench에서는 중앙값 기준 초당 4767개의 출력 토큰을 기록했다.
다만 이 숫자를 모든 AI 모델에서 동일하게 얻을 수 있는 속도로 받아들여서는 안 된다.
벤치마크 결과는 사용한 모델과 정밀도, 서버 구성, 입력 길이, 동시 사용자 수 등에 따라 크게 달라질 수 있고, 제조사가 공개한 자체 또는 협력 벤치마크는 실제 상용 서비스 환경과 차이가 있을 수 있다.
그래도 방향성은 중요하다.
AI 에이전트가 기업 문서 수백 쪽이나 대규모 코드 저장소를 읽으려면 매우 긴 문맥을 유지해야 하는데, 입력이 길어질수록 계산 부담도 커진다. 긴 문맥에서 토큰 생성속도를 유지하는 기술은 에이전트의 체감 성능을 결정하는 중요한 요소가 된다.
엔비디아는 GPU 대신 LPX를 파는 것이 아니다
Groq 3 LPX의 등장으로 엔비디아가 GPU에서 추론칩으로 사업 중심을 옮긴다고 보는 것은 정확하지 않다.
엔비디아의 전략은 오히려 여러 종류의 칩을 하나의 AI 시스템 안에서 역할별로 배치하는 쪽에 가깝다.
차세대 베라 루빈 NVL72는 Rubin GPU 72개를 고속 NVLink로 연결한 랙 단위 시스템이고, 여기에 Vera CPU와 네트워크, 스토리지 기술이 결합된다. Groq 3 LPX는 이 시스템과 함께 초고속 토큰 생성이 필요한 업무를 처리하는 형태로 설계됐다.
AI 모델의 계산도 하나의 작업으로만 이뤄지지 않는다.
사용자가 긴 문서를 입력하면 먼저 대규모 데이터를 읽어 내부 상태를 만드는 ‘프리필(prefill)’ 과정이 필요하고, 이후에는 실제 답을 한 토큰씩 생성하는 ‘디코드(decode)’ 단계가 이어진다.
프리필처럼 한꺼번에 많은 계산을 처리하는 작업에는 GPU가 강점을 가질 수 있고, 토큰을 빠르게 연속 생성하는 디코드에서는 저지연 가속기가 유리할 수 있다.
엔비디아는 이런 작업을 서로 다른 프로세서가 맡도록 분리하는 ‘disaggregated inference’ 구조를 추진하고 있다. Groq 3 LPX와 Rubin GPU를 함께 사용하는 이유다.
결국 엔비디아가 만들려는 것은 최고의 칩 한 개가 아니라 여러 종류의 프로세서를 묶어 가장 낮은 비용으로 최대한 많은 AI 토큰을 생산하는 데이터센터다.
AI 반도체의 새로운 단위는 ‘칩 성능’보다 ‘토큰당 비용’
이 변화는 AI 반도체 산업의 평가 기준도 바꾸고 있다.
GPU 경쟁에서는 주로 연산성능과 메모리 대역폭, 칩당 소비전력이 중요하게 비교됐다. 그러나 AI 서비스 사업자의 입장에서는 최종적으로 사용자가 소비하는 토큰 하나를 만드는 데 얼마가 드느냐가 더 중요하다.
엔비디아 역시 최근 AI 데이터센터의 경제성을 설명하면서 ‘tokens per second’, ‘tokens per watt’, ‘cost per token’을 반복해서 강조하고 있다.
회사가 24일 공개한 자체 테스트에서는 Vera Rubin NVL72가 에이전트형 코딩 작업에서 이전 세대 GB300 NVL72보다 메가와트당 최대 30배 높은 처리량과 최대 35배 낮은 토큰 비용을 기록했다고 밝혔다. 실제 서비스 환경에서는 모델과 운영조건에 따라 결과가 달라질 수 있지만, 엔비디아가 이제 칩의 절대 연산성능보다 전력당 얼마나 많은 AI 작업을 처리하는지를 전면에 내세우고 있다는 점은 분명하다.
전력은 AI 데이터센터의 가장 큰 제약 가운데 하나가 됐다.
GPU를 더 사고 싶어도 데이터센터가 공급받을 수 있는 전력이 부족하면 서버를 늘릴 수 없다. 같은 1MW의 전력으로 더 많은 추론을 처리하는 시스템은 AI 사업자에게 곧 매출을 더 만들 수 있는 시스템이 된다.
AI 반도체 경쟁이 반도체 공정 경쟁에서 데이터센터 경제성 경쟁으로 확대되는 이유다.
에이전트가 확산할수록 ‘기다리는 시간’이 비용이 된다
기존 챗봇에서는 사용자가 답변을 몇 초 기다리는 일이 어느 정도 허용됐다.
하지만 AI가 사람이 하던 업무를 실제로 대신하기 시작하면 기준이 달라진다.
기업의 코딩 에이전트가 소프트웨어 저장소를 분석하고 수십 개의 파일을 수정한 뒤 테스트를 수행한다고 가정하면 모델 호출은 수백 번 이어질 수 있다. 각 단계에서 2초씩 지연이 발생하면 전체 작업에서는 몇 분의 차이가 생긴다.
한 명의 개발자가 사용할 때는 작은 차이처럼 보여도 수만 명이 동시에 사용하는 기업 서비스에서는 막대한 컴퓨팅 비용과 생산성 차이로 이어진다.
그래서 에이전트 시대에는 모델의 지능과 함께 ‘상호작용 속도’가 제품 경쟁력이 된다.
월스트리트저널도 Groq 3 LPX 상용화의 핵심을 에이전트 사용성에서 찾았다. 에이전트가 복잡하고 긴 작업을 수행할수록 각 단계의 추론지연을 줄이는 인프라가 중요해지고 있다는 분석이다.
모델이 아무리 뛰어나도 한 업무를 끝내는 데 20분이 걸린다면 사람이 직접 하는 것과 생산성 차이가 작아질 수 있다. 반대로 같은 모델을 이용해 2분 만에 끝낼 수 있다면 활용 범위는 크게 넓어진다.
200억달러 인수는 엔비디아가 느끼는 위기감도 보여준다
엔비디아가 약 200억달러를 들여 그록을 품은 것은 현재 위치에 안주하지 않겠다는 의미인 동시에 추론시장에서 경쟁이 얼마나 빨리 커지고 있는지를 보여준다.
AI 학습에서는 엔비디아의 지배력이 강하지만 추론은 훨씬 다양한 경쟁자가 존재한다.
구글은 자체 TPU를 오랫동안 개발해왔고, 아마존은 Trainium과 Inferentia 계열을 확대하고 있다. 마이크로소프트와 메타 역시 자체 AI 가속기 개발에 투자하고 있다. 대형 클라우드 기업 입장에서는 엔비디아 GPU에 대한 의존도를 낮추고 자사 서비스에 최적화한 칩을 쓰면 장기적으로 추론비용을 크게 낮출 수 있기 때문이다.
AMD 역시 AI 가속기와 저지연 추론 시스템을 강화하고 있다.
AI 모델을 학습하는 데이터센터는 상대적으로 제한된 수의 초대형 AI 기업이 중심이지만, 추론은 앞으로 거의 모든 인터넷 서비스와 기업 소프트웨어에서 발생할 가능성이 있다.
그만큼 시장은 더 크지만 가격 경쟁도 더 치열해질 수 있다.
엔비디아의 진짜 방어선은 CUDA보다 ‘AI 공장 전체’로 넓어진다
엔비디아가 지금까지 유지해온 가장 강한 경쟁력은 GPU 자체만이 아니었다.
CUDA라는 소프트웨어 생태계와 개발도구, 라이브러리, 네트워크를 함께 제공해 고객이 다른 반도체로 옮기기 어렵게 만든 것이 핵심이었다.
이제 방어선은 더 넓어지고 있다.
Vera CPU와 Rubin GPU, Groq LPX, NVLink, Spectrum-X 네트워크, BlueField 데이터처리장치까지 데이터센터를 구성하는 주요 요소를 하나의 플랫폼 안에서 제공하는 방향이다.
지난 5월 엔비디아는 에이전트형 AI를 겨냥해 Vera CPU를 공개했고, Anthropic과 OpenAI, SpaceXAI, CoreWeave, Oracle 등이 이를 도입할 계획이라고 밝혔다.
8월에는 SpaceXAI가 차세대 에이전트형 AI 워크로드를 위해 Vera CPU와 Vera Rubin 시스템을 사용한다고 발표했다.
이는 AI 반도체 시장에서 경쟁 단위가 칩에서 시스템으로 바뀌고 있다는 의미다.
고객 입장에서는 특정 GPU가 조금 빠른 것보다 CPU와 GPU, 네트워크, 추론 가속기를 하나의 소프트웨어 환경에서 안정적으로 운영할 수 있는지가 더 중요해질 수 있다.
구글·아마존 자체칩은 엔비디아에게 가장 불편한 경쟁자다
엔비디아가 추론에 공격적으로 투자하는 또 다른 이유는 고객사의 자체 반도체 확대다.
구글과 아마존처럼 연간 수십억 건의 AI 요청을 처리하는 기업에서는 토큰당 비용을 몇 퍼센트만 낮춰도 전체 비용 절감액이 매우 커진다.
이들에게 자체칩 개발은 반도체 사업에 진출하기 위한 목적보다 클라우드 서비스의 원가를 낮추기 위한 전략에 가깝다.
구글의 TPU나 아마존의 자체 AI 가속기가 특정 워크로드에서 충분한 성능을 제공한다면 모든 추론을 엔비디아 GPU로 처리할 이유가 없어진다.
엔비디아는 이에 맞서 범용성을 무기로 삼는다.
특정 모델 하나에 최적화된 칩보다 다양한 모델과 프레임워크를 지원하고, 학습에서 추론까지 같은 환경을 사용할 수 있도록 해 고객의 전환비용을 높이는 전략이다.
Groq 기술까지 포함하면서 초저지연이라는 자체칩의 강점까지 자신의 플랫폼 안으로 흡수하려는 것이다.
한국 반도체에도 중요한 변화…HBM만 많이 팔면 끝나지 않는다
추론 중심으로 AI 시장이 이동하는 흐름은 한국 반도체 산업에도 영향을 미친다.
AI 학습용 GPU 확대는 그동안 SK하이닉스와 삼성전자의 HBM 수요를 폭발적으로 키웠다. 대규모 모델을 학습할수록 더 많은 GPU와 HBM이 필요했기 때문이다.
추론 시장이 커져도 HBM 수요가 사라지는 것은 아니다.
오히려 모델 규모가 커지고 긴 문맥을 처리해야 할수록 메모리 용량과 대역폭은 계속 중요하다. Vera Rubin 같은 차세대 시스템 역시 대용량 고대역폭메모리를 필요로 한다.
다만 산업의 가치가 HBM 하나에만 머물지는 않을 가능성이 크다.
추론에서는 메모리뿐 아니라 패키징, 네트워크, 전력반도체, 냉각, SSD와 스토리지까지 전체 시스템 효율이 중요해진다.
한국 기업 입장에서도 AI 반도체 시장을 GPU 출하량과 HBM 판매량만으로 보는 것보다 데이터센터에서 토큰 하나를 생산하는 데 필요한 전체 부품과 장비 시장으로 넓혀볼 필요가 있다.
추론이 커진다고 학습 투자가 끝나는 것은 아니다
AI 산업의 무게중심이 추론으로 이동한다고 해서 모델 학습 투자가 줄어든다는 의미는 아니다.
더 좋은 모델을 만들기 위한 경쟁은 계속되고 있고, 모델 규모와 학습 데이터도 증가하고 있다.
달라진 것은 학습 다음 단계가 훨씬 커지고 있다는 점이다.
과거에는 AI 회사가 모델을 개발하는 것이 가장 큰 비용이었다면, 앞으로는 완성된 모델을 수억 명에게 매일 제공하는 과정에서 더 많은 계산자원이 필요할 수 있다.
이 구조에서는 학습용 GPU와 추론용 시스템이 서로 경쟁하기보다 함께 성장할 가능성이 있다.
엔비디아가 LPX를 Rubin GPU를 대체하는 제품으로 만들지 않고 베라 루빈 시스템의 확장 장치로 배치한 것도 이런 이유다.
AI 기업들의 다음 전쟁은 ‘성능’이 아니라 원가에서 벌어질 수 있다
생성형 AI 시장 초기에는 모델의 성능 차이가 가장 중요한 경쟁 요소였다.
조금이라도 더 정확하고 복잡한 문제를 풀 수 있는 모델을 확보하면 사용자를 빠르게 끌어올 수 있었다.
그러나 주요 모델의 성능 차이가 좁혀지고 AI가 기업 업무와 소비자 서비스에 대규모로 배포되면 경제성이 훨씬 중요해진다.
월 20달러를 받는 AI 서비스가 한 사용자의 요청을 처리하는 데 30달러의 컴퓨팅 비용을 쓴다면 사업을 지속하기 어렵다. 반대로 같은 품질을 10달러의 비용으로 제공할 수 있다면 가격을 낮추거나 더 많은 기능을 제공할 여지가 생긴다.
에이전트는 이 문제를 더 극단적으로 만든다.
한 번의 업무를 수행하기 위해 일반적인 채팅보다 훨씬 많은 토큰을 소비하기 때문이다.
그래서 앞으로 모델 회사의 경쟁력은 벤치마크 점수뿐 아니라 ‘동일한 업무를 얼마의 컴퓨팅 비용으로 끝낼 수 있는가’까지 포함하게 된다.
엔비디아가 노리는 것은 결국 ‘토큰 생산공장’의 표준
엔비디아가 최근 데이터센터를 ‘AI 팩토리’라고 부르는 이유도 여기에서 찾을 수 있다.
전통적인 데이터센터가 웹페이지와 데이터베이스를 운영하는 곳이었다면 AI 데이터센터는 전력과 반도체를 투입해 토큰이라는 지능의 결과물을 지속적으로 생산하는 공장에 가깝다는 논리다.
그렇게 보면 중요한 것은 GPU 몇 개를 판매했느냐가 아니다.
1MW의 전력과 일정한 자본을 투입했을 때 얼마나 많은 토큰을 생산할 수 있고, 그 토큰이 고객에게 얼마의 매출을 만들어주는지가 데이터센터의 경제성을 결정한다.
Groq 3 LPX의 본격 양산은 바로 이 시장을 겨냥한다.
엔비디아는 학습용 GPU에서 이미 강력한 위치를 확보했지만 에이전트 시대에는 데이터센터에서 발생하는 모든 추론까지 자신의 플랫폼 안에 묶어야 현재의 지배력을 유지할 수 있다.
그래서 그록 인수는 특정 스타트업 기술을 확보한 거래 이상의 의미를 갖는다.
AI 경쟁의 다음 승자는 ‘가장 똑똑한 모델’을 만든 회사만이 아닐 수 있다
지난 몇 년 동안 AI 산업을 움직인 질문은 명확했다.
얼마나 많은 GPU를 확보했고, 얼마나 큰 모델을 만들었으며, 벤치마크에서 누가 가장 높은 점수를 얻었느냐였다.
에이전트가 확산하면서 이 질문에 새로운 조건이 붙기 시작했다.
그 모델이 얼마나 빨리 답하는지, 복잡한 업무를 몇 분 안에 끝낼 수 있는지, 수백 단계의 추론을 처리하고도 비용이 감당 가능한지, 제한된 전력 안에서 얼마나 많은 사용자를 받을 수 있는지다.
Groq 3 LPX를 베라 루빈에 결합한 엔비디아의 전략은 이 변화를 가장 선명하게 보여준다.
학습에서는 한 번의 거대한 계산이 중요했다면, 추론에서는 하루 수십억 번 반복되는 작은 계산의 가격과 속도가 중요해진다.
그리고 AI가 사람과 대화하는 도구에서 직접 일을 수행하는 에이전트로 바뀔수록 그 차이는 더 커질 가능성이 높다.
다음 AI 반도체 경쟁의 승자는 가장 강력한 칩 한 개를 만든 기업이 아닐 수도 있다.
같은 전력과 같은 비용으로 가장 많은 지능을 가장 빠르게 제공할 수 있는 시스템을 만든 기업이 될 가능성이 크다.
엔비디아가 GPU 이후의 시장까지 서둘러 장악하려는 이유도 여기에 있다.