브라우저를 직접 조작하는 AI, 시연은 빨라졌지만 실제 웹업무 자동화는 아직 ‘조건부’
브라우저를 직접 조작하는 AI는 2026년 10월 현재 클릭·입력·스크롤 같은 기본 상호작용을 넘어, 로그인된 웹서비스 안에서 다단계 작업을 이어가는 수준까지는 올라왔다. 다만 이 진전이 곧바로 사람의 사무 업무 전반을 대체한다는 뜻은 아니다. 공식 제품 문서는 ‘어디까지 할 수 있는가’를 보여주지만, 독립 벤치마크들은 ‘어떤 조건에서 실제로 끝까지 해내는가’에서 아직 큰 격차가 남아 있음을 보여준다. 지금 단계의 결론은 비교적 분명하다. 정해진 절차가 있고 예외가 적은 웹업무는 자동화 범위에 들어오기 시작했지만, 동적 화면 변화와 세부 조건 확인, 사이트별 예외 처리까지 필요한 업무는 여전히 사람 감독이 핵심이다.
기능은 빠르게 넓어졌지만, 그것만으로 성능이 증명되지는 않는다
공식 문서만 놓고 보면 최근 2년 사이 변화는 분명하다. OpenAI는 ChatGPT의 클라우드 브라우저와 API용 컴퓨터 사용 기능을 통해 에이전트가 별도 브라우저 환경에서 웹페이지를 읽고, 버튼을 누르고, 폼을 작성하며, 필요할 때 사용자 승인을 받아 작업을 이어가도록 설계했다. Anthropic도 개발자가 API를 통해 화면을 해석하고 커서를 움직이며 텍스트를 입력하는 ‘computer use’를 붙일 수 있도록 제공하고 있다.
연결 표준도 확대되고 있다. MCP는 모델이 외부 데이터와 도구, 워크플로를 공통 방식으로 연결하도록 만든 규격이고, A2A는 서로 다른 에이전트끼리 하위 작업을 주고받도록 설계된 프로토콜이다. 2025년 12월 9일 Anthropic이 MCP를 리눅스 재단 산하 Agentic AI Foundation으로 기증하겠다고 발표한 것도 이런 흐름의 연장선이다. 그러나 이 표준들은 연결성과 상호운용성을 넓히는 장치이지, 브라우저 업무 완성도를 자동으로 높여주는 성능 보증서가 아니다. 도구를 더 많이 붙일 수 있게 되는 것과 실제 과업을 끝까지 정확히 수행하는 것은 별개의 문제다.
고정된 벤치마크에서도 사람 수준과는 아직 거리가 있다
실제 자동화 수준을 보려면 시연 영상보다 벤치마크 구조를 먼저 봐야 한다. 초기 웹 에이전트 평가로 많이 인용된 WebArena는 전자상거래, 포럼, 개발 협업, 콘텐츠 관리 같은 사이트를 재현한 환경에서 과업을 측정했는데, 논문은 당시 최고 GPT-4 기반 에이전트의 성공률이 14.41%였고 사람은 78.24%였다고 보고했다. 이미 이 단계에서 “웹을 쓸 수 있다”와 “웹업무를 신뢰성 있게 끝낸다” 사이의 간극이 드러난 셈이다.
브라우저 바깥의 데스크톱과 복수 애플리케이션까지 포함한 OSWorld는 격차를 더 선명하게 보여줬다. 이 벤치마크는 369개의 실제 컴퓨터 과업을 바탕으로 평가했는데, 논문은 최고 모델 성공률을 12.24%, 사람 수행률을 72.36%로 제시했다. 이후 나온 OSWorld 2.0은 동적 환경, 스트리밍 상호작용, 시각적 정밀성, 여러 출처를 넘나드는 추론 같은 현실적 난점을 더 반영하도록 설계를 확장했다. 다시 말해 최근 벤치마크는 점수를 높게 보이게 만드는 방향이 아니라, 실제 사무 환경의 어려움을 더 많이 집어넣는 방향으로 진화하고 있다.
기업용 지식노동 과업에 초점을 맞춘 WorkArena와 WorkArena++도 비슷한 신호를 준다. ServiceNow 기반 업무를 다룬 WorkArena는 모델들이 가능성을 보이지만 ‘완전한 업무 자동화’와는 거리가 있다고 정리했고, 후속 연구인 WorkArena++는 현실적인 워크플로 682개로 범위를 넓혀 계획, 검색, 산술, 문맥 이해를 함께 요구했다. 사무 업무에서 중요한 것은 단순 클릭 속도가 아니라, 절차를 이해하고 예외를 처리하며 중간 상태를 기억하는 능력이라는 뜻이다.
가상 회사 환경에서 웹 탐색, 코드 작성, 프로그램 실행, 동료와의 소통까지 요구한 TheAgentCompany도 같은 결론을 내놨다. 가장 경쟁력 있는 에이전트가 자율적으로 끝낸 과업 비율은 24%에 그쳤다. 짧고 단순한 일은 일부 처리했지만, 길고 결과 책임이 큰 업무는 아직 사람 없이 맡기기 어렵다는 해석이 가능하다.
시연이 실제보다 좋아 보이는 이유는 ‘환경 통제’에 있다
문제는 많은 제품 시연이 대체로 잘 정리된 경로를 택한다는 점이다. 화면 구조가 안정적이고, 목표가 분명하며, 예외 상황이 적은 과업에서는 에이전트가 꽤 그럴듯하게 보인다. 하지만 실서비스 웹은 새 팝업이 뜨고, 검색 결과가 바뀌고, 로그인과 권한 확인이 끼어들며, 같은 작업도 사이트마다 버튼 위치와 용어가 다르다. 이 차이가 성능 격차를 만든다.
2025년 나온 ‘An Illusion of Progress?’ 논문은 이 지점을 정면으로 건드렸다. 연구진은 136개 웹사이트에 걸친 300개 온라인 과업으로 Online-Mind2Web를 만들고, 기존에 높게 보였던 웹 에이전트 성능을 다시 비교했다. 그 결과 최고 성능으로 제시된 Operator도 성공률이 61%였고, Claude Computer Use 3.7은 56.3%였으며, 다른 여러 에이전트는 대체로 30% 안팎에 머물렀다. 쉬운 과업에서는 상대적으로 높은 성공률이 나왔지만, 난도가 올라갈수록 급격히 떨어졌다.
이 연구가 중요한 이유는 단순히 숫자가 낮아서가 아니다. 어떤 과업이 실패하는지가 드러났기 때문이다. 논문은 숫자 범위와 시간 조건을 잘못 적용하거나, 사이트의 덜 눈에 띄는 기능을 찾지 못하거나, 실제로 확인하지 못한 내용을 확인한 것처럼 답하는 환각성 응답을 주요 실패 유형으로 제시했다. 사무 업무에서는 바로 이런 세부 오류가 치명적이다. 항공편 시간, 가격 범위, 채용 공고 최신순, 재고 조건, 결제 직전 확인처럼 작은 오차가 결과 전체를 바꾼다.
기업이 지금 기대할 수 있는 자동화 범위는 어디까지인가
현재 기준으로 실무 도입 가능성이 높은 영역은 반복 규칙이 비교적 명확한 작업이다. 예를 들어 정해진 사이트에서 항목을 검색하고, 고정된 필터를 적용해 목록을 정리하고, 여러 페이지에서 같은 형식의 정보를 수집해 초안을 만드는 일은 후보가 될 수 있다. 내부 승인 전 단계의 조사, 단순 보고서 초안 작성, 테스트 계정으로 반복되는 품질 점검도 여기에 가깝다.
반대로 외부 변수와 책임이 큰 업무는 여전히 보수적으로 봐야 한다. 가격 확정, 예약 완료, 인사·재무·법무 관련 최종 입력, 고객 계정 변경, 복수 시스템을 오가며 조건을 검증해야 하는 작업은 오류 비용이 크다. OpenAI 문서가 사이트 접근 승인과 결과를 되돌리기 어려운 행동에 대한 별도 확인 절차를 두고, Anthropic 문서가 상업용 API를 통해 개발자가 직접 붙여야 하는 베타 기능으로 computer use를 설명하는 것도 이런 한계를 반영한 조치로 읽힌다.
도입 판단의 기준도 바뀌어야 한다. “이 모델이 브라우저를 쓸 수 있는가”보다 “우리 업무에서 실패할 때 어떤 방식으로 실패하는가”가 더 중요하다. 성공률 평균보다 재시도 빈도, 사람 개입 지점, 숫자·날짜·권한 처리 오류, 사이트 차단 여부, 감사 로그 확보 가능성이 더 실무적인 지표다. 특히 웹서비스 운영자가 자동화 브라우저 접근을 제한하면 성능과 무관하게 과업이 중단될 수 있다.
표준화와 보안 통제가 다음 단계의 병목이 될 가능성
앞으로 성능 향상만큼 중요한 변수는 연결 표준과 통제 체계다. MCP와 A2A는 에이전트가 더 많은 도구와 다른 에이전트를 붙여 쓰게 해 줄 수 있지만, 동시에 권한 범위와 감사 가능성, 데이터 경로를 더 세밀하게 설계해야 한다는 뜻이기도 하다. Anthropic의 관련 문서는 computer use가 화면 스크린샷을 처리하며, 기본적으로 30일 안에 삭제된다고 설명한다. OpenAI도 에이전트 세션과 클라우드 브라우저 사용에서 승인 절차와 사이트 차단, 워크스페이스 단위 통제를 안내하고 있다. 성능 경쟁이 곧바로 기업 도입 경쟁으로 이어지지 않는 이유다.
결국 브라우저를 직접 조작하는 AI는 사람의 사무 업무를 일부 따라잡기 시작했지만, 그것은 ‘사람처럼 웹을 본다’는 의미에 더 가깝지 ‘사람 없이 책임 있게 일을 끝낸다’는 의미와는 아직 다르다. 2026년 10월 현재 가장 타당한 평가는 이렇다. 시연 단계는 이미 인상적이지만, 실제 웹업무 자동화는 여전히 과업 설계가 잘 고정돼 있고, 실패 비용이 낮으며, 사람 승인과 감사를 앞세운 환경에서만 안정적으로 성립한다. 벤치마크가 고정 시나리오에서 동적인 실서비스로 이동할수록 점수가 떨어지는 현상은, 이 기술의 진짜 병목이 마우스 조작 자체보다 맥락 이해와 예외 처리에 있다는 점을 보여준다.
자료: OpenAI, Introducing Operator(2025-01-23); OpenAI API Documentation, Computer use(2026); OpenAI Help Center, Using cloud browser in ChatGPT(2026); OpenAI Help Center, ChatGPT agent(2026); Anthropic, Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku(2024); Anthropic Privacy Center, What personal data will be processed by Computer use?(2026-03-16); Anthropic, Donating the Model Context Protocol and establishing the Agentic AI Foundation(2025-12-09); Model Context Protocol Documentation, What is the Model Context Protocol (MCP)?(2026-07-28); A2A Protocol Documentation, A2A Protocol(2026); Zhou et al., WebArena: A Realistic Web Environment for Building Autonomous Agents(2023); Xie et al., OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments(2024); Drouin et al., WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks?(2024); Boisvert et al., WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks(2024); Xu et al., TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks(2024); Xue et al., An Illusion of Progress? Assessing the Current State of Web Agents(2025)