챗봇 다음은 ‘일하는 AI’…기업 경쟁력 가르는 AI 에이전트 시대 열린다
생성형 인공지능(AI)을 둘러싼 기업들의 경쟁이 새로운 단계로 넘어가고 있다. 몇 년 전까지 AI 활용의 중심이 질문에 답하고 문서를 작성하는 ‘챗봇’이었다면 이제는 사용자를 대신해 여러 단계의 업무를 수행하는 ‘AI 에이전트’가 기업 현장으로 빠르게 들어오고 있다.
변화의 핵심은 AI가 더 똑똑한 답을 내놓는 데 있지 않다. 사람이 해야 했던 업무의 일부를 AI에게 실제로 ‘위임’할 수 있게 됐다는 점이다. 자료를 찾고, 내용을 분석하고, 파일을 수정하고, 필요한 도구를 호출한 뒤 결과를 정리하는 일련의 과정을 하나의 시스템이 이어서 수행하는 방식이다.
이 때문에 기업 AI 경쟁의 평가 기준도 달라지고 있다. 누가 더 좋은 AI 모델을 사용하느냐보다 AI에 어떤 정보와 도구를 연결하고, 실제 업무 흐름 안에서 얼마나 효과적으로 작동하게 만드느냐가 중요해지는 모습이다.
답변하는 AI에서 일을 맡는 AI로
기존 생성형 AI의 대표적인 사용법은 사람이 질문을 입력하면 AI가 답변을 생성하는 형태였다. 이메일 초안을 만들거나 회의 내용을 요약하고, 보고서 작성에 필요한 아이디어를 얻는 방식이 대표적이다.
AI 에이전트는 여기서 한 단계 더 나아간다. 사용자가 목표를 제시하면 필요한 작업을 여러 단계로 나누고, 상황에 따라 도구를 사용하면서 결과를 만들어낸다. 사람이 모든 과정에 일일이 명령을 입력하지 않아도 일정 범위 안에서 작업을 계속 수행할 수 있다는 것이 특징이다.
예를 들어 기업이 새로운 시장 진출 가능성을 조사한다고 가정해보자. 기존 챗봇은 사용자가 자료를 제공하거나 질문할 때마다 시장 정보를 정리해주는 역할을 한다. 반면 에이전트형 시스템은 여러 자료를 찾고 데이터를 분류한 뒤 경쟁사를 비교하고 결과를 보고서 형태로 정리하는 식의 복합 업무를 수행할 수 있다.
이러한 차이는 단순한 기능 향상을 넘어 업무의 기본 단위가 바뀌고 있다는 의미를 갖는다. AI 활용이 ‘질문과 답변’ 중심에서 ‘목표 설정과 업무 위임’ 중심으로 이동하는 것이다.
OpenAI가 지난 6월 공개한 업무 활용 연구에서도 이런 변화가 확인된다. 2026년 5월 표본 사용자 가운데 70.2%가 사람이 수행할 경우 한 시간 이상 필요할 것으로 추정되는 작업을 최소 한 차례 Codex에 맡긴 것으로 분석됐다. 8시간 이상이 필요한 것으로 추정된 작업을 요청한 사용자도 25.6%에 달했다. 다만 작업 시간은 모델을 활용한 추정치인 만큼 절대적인 생산성 수치라기보다는 업무 복잡성이 높아지고 있다는 방향성을 보여주는 지표로 볼 필요가 있다.
개발자 전유물 벗어난 AI 에이전트
주목할 부분은 에이전트 활용이 개발자 영역을 빠르게 벗어나고 있다는 것이다.
OpenAI의 기업 데이터에 따르면 2026년 6월 기업 고객이 Codex와 ChatGPT에서 생성한 출력 토큰 가운데 Codex가 차지하는 비중은 64%로 나타났다. 특히 올해 2월 이후 기업의 주간 활성 Codex 이용자 증가 폭은 법무 분야 108배, 영업과 채용 각각 41배, 마케팅 26배로 집계됐다. 같은 기간 엔지니어링 분야의 증가 폭은 5배였다.
AI 에이전트가 처음에는 코딩과 소프트웨어 개발을 중심으로 확산됐지만 이제는 법무 검토, 영업 지원, 채용, 마케팅, 데이터 분석 등 다양한 지식 업무로 영역을 넓히고 있다는 의미다.
마이크로소프트의 2026년 업무동향지수에서도 비슷한 흐름이 나타난다. 마이크로소프트 365 생태계에서 활동하는 에이전트 수는 1년 사이 15배 증가했고 대기업에서는 18배까지 늘어난 것으로 조사됐다. AI 이용자의 66%는 AI 덕분에 더 가치가 높은 업무에 시간을 사용할 수 있게 됐다고 답했으며, 58%는 1년 전에는 수행하지 못했던 업무를 할 수 있게 됐다고 응답했다.
이는 AI가 단순히 기존 업무 시간을 줄여주는 도구에서 개인이 수행할 수 있는 업무 범위를 넓히는 기술로 변하고 있음을 보여준다.
같은 AI를 써도 기업 간 격차 벌어진다
AI 에이전트 시대에는 동일한 모델을 이용한다고 해서 동일한 성과를 얻는 것도 아니다.
OpenAI가 8월 12일 공개한 기업 활용 데이터에서는 AI를 적극적으로 활용하는 상위 기업과 일반적인 기업 사이의 활용 격차가 커지는 흐름이 관찰됐다. 월별 AI 사용량 기준 상위 10% 기업은 활성 사용자 한 명당 생성하는 출력 토큰이 중간 수준 기업보다 8.3배 많았다. 올해 1월에는 이 격차가 2.6배였다.
단순히 AI를 도입했느냐보다 얼마나 깊숙이 업무 과정에 연결했느냐가 새로운 경쟁 요소가 되고 있는 셈이다.
기업 내부 데이터와 AI가 연결되고, 업무용 소프트웨어나 각종 도구를 사용할 권한까지 부여되면 AI의 역할은 크게 확장될 수 있다. 반대로 AI를 직원 개인이 질문하는 보조 도구 수준으로만 이용한다면 생산성 향상에도 한계가 생길 가능성이 높다.
결국 기업 경쟁력의 차이는 AI 모델 자체보다 데이터 연결, 업무 프로세스 설계, 직원의 활용 역량에서 만들어질 가능성이 커지고 있다.
자동화보다 어려운 문제는 ‘통제’
그러나 AI 에이전트가 업무를 많이 맡는다고 해서 기업 경쟁력이 자동으로 높아지는 것은 아니다.
에이전트가 자료를 열람하고 파일을 수정하며 외부 시스템을 사용하는 범위가 넓어질수록 새로운 위험도 함께 커진다. 잘못된 정보를 토대로 업무를 수행할 수 있고, 권한 설정이 적절하지 않으면 민감한 기업 정보에 접근하는 문제가 발생할 수도 있다.
누가 AI에게 어떤 업무를 맡길 수 있는지, 어느 단계에서 사람의 승인을 받아야 하는지, 잘못된 결과가 발생했을 때 책임을 어떻게 추적할 것인지도 기업이 해결해야 할 문제다.
현재 기업의 준비 수준은 기술 발전 속도를 따라가지 못하고 있다는 조사도 있다. 딜로이트가 올해 전 세계 3,200명 이상의 비즈니스·IT 리더를 대상으로 실시한 조사에서는 기업의 74%가 향후 2년 안에 에이전틱 AI를 일정 수준 이상 도입할 것으로 전망했지만, 자율형 에이전트를 위한 성숙한 거버넌스 체계를 갖춘 기업은 21%에 그쳤다. AI에 맞춰 직무나 업무 방식을 재설계하지 않은 기업도 84%에 달했다.
8월 공개된 별도의 딜로이트 조사에서도 에이전트 활용에 충분히 준비된 업무 프로세스를 갖췄다고 평가한 기업은 5%에 불과했다. 여러 부서를 연결하는 다중 에이전트를 본격적인 규모로 운영하고 있다는 기업 역시 15% 수준이었다.
사라지는 업무보다 달라지는 업무에 주목해야
AI 에이전트의 확산은 다시 ‘AI가 사람의 일자리를 얼마나 대체할 것인가’라는 질문으로 이어진다. 하지만 기업 현장에서 나타나는 초기 변화만 놓고 보면 모든 직무가 곧바로 자동화되는 단순한 구조보다는 사람과 AI 사이의 업무 배분이 달라지는 과정에 가깝다.
자료 수집과 반복적인 데이터 정리, 초안 작성과 같은 업무를 AI가 담당하면 사람은 목표를 정하고 결과를 검증하며 중요한 의사결정을 내리는 역할에 더 많은 시간을 사용할 수 있다.
반대로 이는 인간의 역할이 줄어든다는 의미만은 아니다. AI에게 정확한 목표를 설명하는 능력, 결과의 오류를 발견하는 능력, 여러 에이전트의 작업을 조율하고 최종 결과에 책임지는 능력이 새로운 업무 역량으로 부상할 가능성이 높다.
마이크로소프트의 조사에서도 AI 성과에 영향을 미치는 요소를 분석했을 때 조직 문화와 관리자 지원, 인재 관리 등 조직 요인이 개인의 AI 활용 능력보다 더 큰 연관성을 보였다. 결국 AI에 능숙한 직원 몇 명을 확보하는 것만으로는 조직 전체의 생산성 전환이 이뤄지기 어렵다는 얘기다.
기업 AI 경쟁은 이제 ‘어떤 AI를 도입했는가’라는 질문에서 벗어나고 있다. 중요한 것은 AI에게 어떤 일을 맡길 것인지, 인간은 무엇을 판단할 것인지, 그리고 두 영역을 어떻게 하나의 업무 체계로 연결할 것인지다.
챗봇 시대에는 좋은 질문을 하는 사람이 AI를 잘 활용했다면 에이전트 시대에는 좋은 업무를 설계하는 조직이 AI를 잘 활용하는 기업이 될 가능성이 크다.
AI의 다음 경쟁은 모델 안에서만 벌어지지 않는다. 실제 회사의 회의실과 업무 시스템, 직원들의 일하는 방식 속에서 이미 시작되고 있다.