더 똑똑해진 AI, 더 비싸진 추론…엔비디아가 웃는 이유
–GPT-6 Astra 입력 100만 토큰 10달러·출력 50달러…추론 비용 다시 부각
–엔비디아 데이터센터 매출 890억달러, 1년 전보다 117% 증가
인공지능 모델이 한 단계 더 강력해질수록 이를 실제 서비스로 운영하는 비용 문제도 함께 커지고 있다. OpenAI가 9월 3일 공개한 GPT-6 Astra는 복잡한 추론과 코딩, 연구, 컴퓨터 사용 등 고난도 작업을 겨냥한 최상위 모델로, 표준 API 가격은 입력 100만 토큰당 10달러, 출력 100만 토큰당 50달러로 책정됐다. GPT-5.6 Sol의 입력 4달러, 출력 20달러와 비교하면 각각 2.5배 수준이다.
새 모델의 등장은 단순한 AI 서비스 가격 인상의 문제로 끝나지 않는다. 고성능 추론모델이 복잡한 문제를 여러 단계로 나누고 검색과 코드 실행, 도구 호출을 반복하기 시작하면 이용자에게 보이는 답변보다 훨씬 많은 계산이 데이터센터 내부에서 발생할 수 있다. 모델 경쟁의 무게중심도 누가 더 높은 벤치마크 점수를 기록하느냐에서, 이 계산을 얼마나 낮은 비용과 전력으로 처리할 수 있느냐는 인프라 경쟁으로 옮겨가고 있다.
이 흐름에서 다시 주목받는 기업이 엔비디아다. 엔비디아는 2027회계연도 2분기에 매출 962억달러를 기록했고, 이 가운데 데이터센터 매출은 890억달러였다. 전년 동기보다 각각 106%, 117% 증가했다. 젠슨 황 엔비디아 최고경영자는 실적 발표에서 AI가 실제 업무에 사용되면서 토큰이 생산적이고 수익을 창출하는 단계로 이동하고 있다고 평가했다.
Astra의 가격이 보여주는 것은 ‘지능에도 원가가 있다’는 사실이다
GPT-6 Astra의 표준 API 가격은 입력 100만 토큰당 10달러, 캐시된 입력 1달러, 출력 50달러다. OpenAI는 Astra를 고난도 추론과 소프트웨어 개발, 연구, 컴퓨터 사용 등에 적합한 최상위 모델로 제시하고 있다.
가격에서 특히 눈에 띄는 부분은 출력 토큰이다. 모델이 실제 결과를 만들어내는 과정에 상대적으로 높은 가격이 붙어 있다는 점은 복잡한 추론과 장시간 작업이 늘어날수록 서비스 사업자의 비용 부담도 커질 수 있음을 보여준다.
GPT-5.6 Sol은 입력 100만 토큰당 4달러, 출력 20달러다. 같은 토큰 수를 기준으로 하면 Astra의 표준 가격은 Sol보다 2.5배 높다. 다만 가격 차이가 실제 업무 한 건의 처리비용까지 정확히 2.5배라는 뜻은 아니다. 같은 업무라도 모델별로 필요한 토큰 수와 호출 횟수, 도구 사용 방식이 달라질 수 있기 때문이다.
AI 기업 입장에서는 모델의 성능을 높이는 것과 함께 같은 작업을 얼마나 적은 토큰과 연산으로 처리할 수 있는지가 점점 더 중요한 경쟁력이 되고 있다.
추론모델은 답변 하나를 만들기 위해 더 많은 계산을 할 수 있다
초기의 생성형 AI는 질문을 받으면 곧바로 답변을 생성하는 구조가 중심이었지만, 최근 고성능 모델은 복잡한 문제를 여러 단계로 나누고 필요한 도구를 호출하면서 결과를 검증하는 방향으로 발전하고 있다.
AI 에이전트가 등장하면서 이 경향은 더 강해지고 있다. 사용자가 업무를 한 번 지시하더라도 모델이 계획을 세우고 자료를 검색하고 코드를 실행한 뒤 결과를 다시 검토한다면 실제로는 여러 차례의 모델 호출이 발생한다.
이 경우 이용자에게 최종적으로 보이는 답변의 길이만으로 전체 연산량을 판단하기 어렵다. 짧은 결과를 만들기 위해서도 내부적으로 많은 계산과 반복 호출이 필요할 수 있기 때문이다.
따라서 AI 산업의 비용 경쟁은 단순한 모델 가격표보다 하나의 실제 업무를 끝내는 데 얼마의 계산자원이 필요한지를 따지는 방향으로 이동하고 있다.
AI 산업의 비용 중심이 학습에서 추론으로 넓어진다
거대언어모델 경쟁 초기에는 새로운 모델을 학습시키는 데 얼마나 많은 GPU와 전력이 필요한지가 핵심 관심사였다. 수만 개의 GPU를 이용한 대규모 학습이 기술 경쟁력의 상징처럼 여겨졌다.
그러나 AI 서비스 이용자가 늘어나면서 추론비용의 중요성이 빠르게 커지고 있다. 학습은 새로운 모델을 만드는 과정에서 집중적으로 발생하지만 추론은 이용자가 서비스를 사용할 때마다 반복된다.
기업이 AI를 실제 업무에 광범위하게 적용하면 수백만 또는 수십억 번의 모델 호출이 발생할 수 있고, 이때 작은 토큰당 비용 차이도 전체 운영비에서는 큰 격차로 이어질 수 있다.
특히 AI 에이전트가 보편화될수록 추론 수요는 더 증가할 가능성이 있다. 사람이 한 번 질문하고 한 번 답을 받는 챗봇과 달리 에이전트는 목표를 달성할 때까지 계획과 검색, 실행, 검증을 반복하기 때문이다.
엔비디아 데이터센터 매출 890억달러가 보여주는 변화
엔비디아의 최근 실적은 AI 인프라 투자가 여전히 빠르게 증가하고 있음을 보여준다. 2027회계연도 2분기 전체 매출은 962억달러로 전년 동기 대비 106% 늘었고, 데이터센터 부문은 890억달러로 117% 증가했다.
전체 매출에서 데이터센터가 압도적인 비중을 차지한다는 것은 엔비디아의 사업 중심이 PC 그래픽용 GPU에서 AI 계산 인프라로 이동했음을 보여준다.
황 CEO는 과거 일부 대형 AI 연구소가 인프라 확장을 주도했다면 이제는 여러 프런티어 연구소와 스타트업, 오픈모델 생태계, 물리 AI 분야까지 계산자원 수요가 넓어지고 있다고 설명한다. 실제 데이터센터 매출 증가폭도 AI 계산수요가 특정 연구기업에 국한되지 않고 있다는 흐름을 보여준다.
GPT-6 Astra처럼 계산집약적인 모델이 늘어날 때 엔비디아에 중요한 것은 특정 모델 하나의 성공 여부보다 여러 기업이 동시에 더 많은 추론 인프라를 필요로 하는 시장구조가 지속되는지다.
AWS도 200만 개 규모의 GPU 확충에 나선다
AWS와 엔비디아는 8월 26일 전략적 협력 확대 계획을 내놓고 2027년부터 2028년까지 AWS의 글로벌 인프라에 엔비디아 GPU 200만 개를 추가 배치한다는 구상을 제시했다. 대상에는 Blackwell Ultra와 Rubin, Rubin Ultra가 포함된다.
이는 클라우드 사업자가 앞으로 늘어날 AI 추론과 에이전트, 과학연구, 물리 AI 수요를 예상해 계산용량을 선제적으로 확보하려는 움직임으로 볼 수 있다.
다만 200만 개는 현재 배치가 끝난 물량이 아니라 향후 구축을 전제로 한 계획이다. 실제 공급과 배치 속도는 반도체 생산뿐 아니라 데이터센터 건설과 전력 확보 상황에도 영향을 받을 수 있다.
AI 모델의 성능 경쟁이 치열해질수록 클라우드 사업자의 경쟁도 얼마나 많은 GPU를 보유했느냐에서 실제 고객에게 얼마나 안정적이고 저렴하게 계산자원을 공급할 수 있느냐로 이동할 가능성이 크다.
추론 효율이 좋아지면 GPU 수요가 줄어들 수도 있다
고성능 모델이 더 많은 계산을 필요로 하면 엔비디아 GPU 수요가 증가할 것이라는 논리는 직관적이지만 시장은 그렇게 단순하게 움직이지 않는다.
AI 기업들은 모델 경량화와 캐싱, 양자화, 전문가 혼합 구조, 추론 최적화 등을 통해 같은 작업을 더 적은 계산으로 처리하려고 한다. 하드웨어 역시 세대가 바뀔수록 같은 전력 안에서 처리할 수 있는 토큰 수가 증가한다.
따라서 AI 작업 한 건을 처리하는 데 필요한 GPU 시간이 크게 줄어들면 단위 작업당 하드웨어 수요 역시 감소할 수 있다.
반대 효과도 있다. 추론비용이 낮아지면서 이전에는 경제성이 없어 AI를 적용하지 못했던 업무까지 자동화한다면 전체 이용량이 훨씬 빠르게 늘어날 수 있다.
결국 GPU 수요를 결정하는 것은 모델 하나가 얼마나 많은 연산을 요구하느냐만이 아니다. 추론비용이 낮아지는 속도와 AI 사용량이 증가하는 속도가 함께 작용한다.
GPU보다 전력과 데이터센터가 먼저 병목이 될 수 있다
AI 계산수요가 빠르게 증가하면서 인프라 문제는 반도체 공급을 넘어 전력과 데이터센터로 확대되고 있다. 고성능 GPU를 충분히 확보하더라도 이를 설치할 건물과 전력, 냉각시설, 네트워크가 마련되지 않으면 실제 서비스를 확대하기 어렵다.
엔비디아는 8월 Apollo, BlackRock, Blackstone, Brookfield, Goldman Sachs, KKR 등과 AI 인프라 금융 플랫폼 구축 계획을 발표했다. 장기적으로 5000억달러가 넘는 제3자 자본을 AI 인프라 분야에 동원하는 것이 목표다.
이는 이미 5000억달러가 투자됐다는 의미는 아니다. 대규모 데이터센터와 전력 인프라를 건설하는 데 필요한 외부 자본을 장기간 유치하기 위한 구상에 가깝다.
AI 경쟁이 반도체 기업의 제품 판매에서 끝나지 않고 전력과 부지, 데이터센터 건설, 네트워크, 금융조달까지 연결되는 대규모 인프라 산업으로 확장되고 있다는 점은 분명하다.
Astra의 단계적 배포에는 안전 문제가 함께 있다
GPT-6 Astra는 공개와 동시에 모든 이용자에게 일괄적으로 제공되는 방식이 아니라 접근 범위를 단계적으로 넓히는 방식으로 배포되고 있다.
성능 향상과 함께 안전성 문제도 커졌다. OpenAI는 Astra의 사이버보안 능력이 자사의 Preparedness Framework에서 ‘Critical’ 단계에 도달했다고 평가했다.
이는 AI가 소프트웨어 취약점 탐색이나 복잡한 사이버보안 작업에서 이전 모델보다 높은 능력을 갖췄다는 의미이며, 그만큼 모델 접근과 사용에 추가적인 통제가 필요하다는 판단으로 이어진다.
OpenAI는 이에 대응해 내부 개발환경 격리와 모델 체크포인트 보호, 작업과정 모니터링 등 추가적인 안전조치를 적용하고 있다고 설명한다.
새로운 AI 모델의 경쟁력을 벤치마크 점수만으로 판단하기 어려워지는 이유도 여기에 있다. 성능이 높아질수록 계산비용과 서버 용량, 전력뿐 아니라 안전성 검증과 접근통제 비용도 함께 커질 수 있다.
AI 경쟁의 다음 질문은 ‘얼마나 싸게 지능을 공급하느냐’다
GPT-6 Astra의 등장은 AI 모델의 성능 경쟁이 계속되고 있음을 보여주지만 산업적으로 더 중요한 변화는 모델 뒤의 비용구조에서 나타나고 있다.
Astra의 표준 API 가격은 GPT-5.6 Sol보다 높고, AI 에이전트와 복잡한 추론이 늘어날수록 업무 한 건에 필요한 계산량도 커질 가능성이 있다. 기업들은 더 강력한 AI를 원하면서도 실제 업무에 광범위하게 사용할 수 있을 정도로 비용을 낮춰야 한다.
엔비디아의 데이터센터 매출 증가와 AWS의 대규모 GPU 확충 계획, AI 인프라에 수천억달러의 자본을 동원하려는 움직임은 모두 계산수요 확대에 대비하는 산업의 변화를 보여준다.
그러나 모델의 연산량이 늘어난다고 GPU 수요가 자동으로 같은 비율로 증가하는 것은 아니다. 추론 효율이 빠르게 개선되면 같은 장비로 더 많은 업무를 처리할 수 있고, 자체 AI 가속기와 경쟁 반도체가 성장하면 시장구조도 달라질 수 있다.
반대로 AI 사용비용이 낮아져 적용 분야가 급격히 넓어진다면 효율 향상보다 이용량 증가가 더 크게 나타날 수도 있다. 결국 AI 인프라 시장의 방향은 단순한 모델 크기가 아니라 지능을 생산하는 비용과 실제 수요의 증가 속도에 달려 있다.
AI 산업의 다음 경쟁은 더 똑똑한 모델을 만드는 데서 끝나지 않는다. 같은 수준의 지능을 얼마나 적은 토큰과 전력, 서버로 제공할 수 있는지가 서비스 가격과 수익성을 결정하게 된다.
젠슨 황이 강조하는 계산자원의 경제성도 이 지점과 연결된다. 아무리 많은 GPU를 설치해도 그 위에서 처리된 AI 작업이 실제 업무와 서비스에서 투입 비용 이상의 가치를 만들어내지 못한다면 인프라 확대를 지속하기 어렵다.
GPT-6 Astra가 던지는 산업적 질문은 그래서 성능 자체보다 비용에 가깝다. 더 강력해진 AI를 누가 가장 싸고 안정적으로 공급할 수 있느냐가 다음 경쟁의 중심으로 이동하고 있다.