장기 에이전트 작업 완주율, 한 번의 정답률로는 안 보인다
AI 에이전트가 긴 업무를 끝까지 완수하는지 보려면, 한 단계씩 맞히는 정확도보다 전체 작업의 종료 조건을 통과했는지를 먼저 봐야 한다. 최근 공개된 공식 문서와 연구를 종합하면 장기 작업 평가는 크게 네 갈래로 나뉜다. 첫째는 작업 하나를 처음부터 끝까지 완료했는지 보는 엔드투엔드 완료율, 둘째는 사람이 걸리는 시간과 연결해 측정하는 작업 시간지평선, 셋째는 부분적으로 유용한 결과를 따로 계산하는 부분점수, 넷째는 벤치마크 자체가 실제 역량을 제대로 재는지 따지는 평가 품질 점검이다.
이 기준이 필요한 이유는 장기 작업의 실패가 대개 마지막 한 단계에서 눈에 띄더라도, 실제 원인은 그 전 단계들에서 쌓인 작은 오류일 수 있기 때문이다. 각 단계 성공률이 높아 보여도 전체 완수 확률은 빠르게 낮아진다. 예를 들어 필수 단계 10개를 모두 통과해야 하는 작업에서 단계별 성공률이 95%면 전체 성공률은 약 59.9%로 떨어진다. 단계 성공률이 98%여도 20단계 작업의 전체 성공률은 약 66.8% 수준이다. 단일 단계 점수만으로는 실제 업무 완주 능력을 과대평가하기 쉬운 구조다.
완주율은 작업 단위에서 먼저 재야 한다
장기 작업 평가에서 가장 직접적인 지표는 작업 단위 성공률이다. 코딩이면 저장소를 받아 수정한 뒤 새 테스트를 통과하고 기존 기능도 깨뜨리지 않아야 하고, 브라우징이면 필요한 정보를 모두 찾아 정답 형식으로 제출해야 하며, 과학 업무면 결론뿐 아니라 근거와 판단 기준까지 채점 기준을 넘어야 한다. 이때 중요한 것은 중간 단계 몇 개를 맞혔는지가 아니라 최종 산출물이 요구 조건을 충족했는지다.
이 관점은 최근 벤치마크 설명에서도 분명하다. Anthropic이 공개한 Terminal-Bench 4.0은 명령줄 환경에서 복합적 다단계 전문 작업을 끝낼 수 있는지를 본다고 설명한다. FrontierCode는 에이전트가 만든 코드 변경이 실제로 병합될 수준인지를 묻는다. OpenAI가 소개한 BrowseComp 역시 웹에서 얽힌 정보를 찾아 최종 답을 내는 과제를 기준으로 삼는다. 이름은 달라도 공통점은 같다. 부분 단계의 인상적인 시연보다, 끝 결과가 검증 가능한가를 본다는 점이다.
사람 시간으로 환산한 ‘시간지평선’은 왜 따로 보나
엔드투엔드 완료율만으로는 작업 난도를 한눈에 비교하기 어렵다. 이 때문에 METR은 ‘50% 시간지평선’이라는 지표를 쓴다. 사람이 해당 작업을 완료하는 데 걸리는 시간을 기준으로 놓고, 모델이 50% 확률로 성공할 것으로 예측되는 과업 길이를 계산하는 방식이다. 이 수치는 AI가 실제로 몇 시간을 자율적으로 돌아간다는 뜻이 아니라, 어느 정도 길이와 난도의 작업까지 절반 확률로 완수하는지를 나타내는 난도 지표에 가깝다.
METR 설명에 따르면 인간 기준 시간은 소프트웨어 엔지니어링, 머신러닝, 사이버보안 분야 숙련자들이 같은 과제를 수행한 성공 시간의 기하평균 등으로 추정한다. 또 이 작업들은 일상 업무처럼 맥락을 많이 가진 상태가 아니라, 비교적 저맥락 조건에서 수행하는 과제로 설계돼 있다. 따라서 시간지평선은 ‘경력자가 기존 프로젝트를 이어받아 하는 2시간’이라기보다, 새로운 사람이 제한된 문맥에서 해결하는 과업 길이에 더 가깝다.
Anthropic의 2026년 1월 경제지표 보고서는 이 개념을 실사용 데이터에도 적용했다. 보고서는 API 사용 데이터에서 작업 성공률이 인간 기준 1시간 미만 과업에서는 약 60% 수준에서, 5시간 이상 과업에서는 약 45% 수준으로 낮아진다고 설명했다. 회귀선이 50% 성공선을 지나는 지점은 약 3.5시간이었다. 같은 보고서에서 Claude.ai의 대화형 사용은 약 19시간으로 더 길게 추정됐지만, 이는 사용자가 과제를 잘게 나누고 중간에 수정 피드백을 주는 효과가 반영됐을 가능성이 크다고 밝혔다. 즉 자율 실행과 대화형 보조를 같은 숫자로 읽으면 안 된다.
부분점수와 반복실행 분포를 함께 봐야 하는 이유
실무형 장기 과제는 ‘완전 성공’과 ‘완전 실패’만으로는 설명이 끝나지 않는 경우가 많다. OpenAI의 LifeSciBench는 이런 점을 반영해 두 개의 지표를 함께 공개한다. 하나는 과제별 성공 기준을 넘긴 비율인 패스레이트이고, 다른 하나는 세부 채점표 평균점수다. 과학 업무처럼 중간 분석이 유용할 수 있는 영역에서는 최종 정답 여부만 보는 지표와 부분적으로 쓸 만한 산출물을 보는 지표가 서로 다른 정보를 준다는 뜻이다.
반복 실행 분포도 중요하다. BrowseComp 분석에서는 같은 문제를 64번 시도했을 때 어떤 과제는 항상 풀고, 어떤 과제는 한 번도 못 푸는 식으로 분포가 넓게 벌어졌다. 평균 정확도 하나만 보면 가려지는 차이다. 기업 IT 책임자 입장에서는 특히 이 대목이 중요하다. 평균 60% 성능의 도구라도 실패가 모든 업무에 조금씩 퍼지는지, 아니면 특정 과제군에서만 집중적으로 무너지는지에 따라 통제 방식이 달라지기 때문이다.
벤치마크가 흔들리면 숫자도 흔들린다
장기 작업 완주율을 말할 때는 벤치마크 자체의 건전성도 따져야 한다. OpenAI는 2026년 2월 SWE-bench Verified가 더 이상 최전선 코딩 역량을 재는 적절한 지표가 아니라고 발표했다. 모델들이 푼 것으로 집계되지 않은 과제 중 상당수에서 테스트가 올바른 해답을 거부하는 문제가 있었고, 공개 저장소 기반 과제 특성상 학습 과정에서 문제와 해답에 노출됐을 가능성도 확인됐다는 이유였다.
문제는 거기서 끝나지 않았다. OpenAI는 2026년 7월 SWE-Bench Pro 공개 분할 731개 과제를 다시 감사한 뒤, 약 30%가량에 결함이 있는 것으로 추정된다고 밝혔다. 더 긴 작업을 재겠다고 만든 벤치마크도 유지·보수에 실패하면 신호가 아니라 노이즈가 될 수 있다는 뜻이다. 장기 에이전트 성능을 비교할 때 단일 점수표만 가져오면 안 되는 이유다. 과제 오염, 채점 오류, 현실성과 같은 메타 수준의 검증이 같이 붙어야 수치가 해석 가능해진다.
프로토콜의 발전과 완주 능력은 다른 문제다
MCP와 A2A 같은 표준의 확산은 에이전트 운용 기반을 넓히고 있지만, 그것만으로 장기 작업 완주율이 보장되지는 않는다. 2025년 12월 9일 Anthropic은 MCP를 리눅스재단 산하 Agentic AI Foundation에 기증한다고 발표했고, A2A 규격은 장시간 실행 작업을 위한 비동기 상태 업데이트와 푸시 알림 구조를 문서화하고 있다. 최근 MCP 규격 초안도 장시간 작업을 위한 Tasks 확장을 다루고 있다.
하지만 이런 표준은 어디까지나 도구 연결, 상태 전달, 승인 흐름, 비동기 실행 같은 운영 계층의 규격이다. 평가 계층의 질문은 여전히 남는다. 실제 업무를 끝까지 마쳤는지, 중간에 사람 개입이 얼마나 필요했는지, 실패가 어느 단계에서 축적됐는지, 재시도하면 성능이 안정적인지까지 따로 재야 한다. 표준화는 에이전트를 더 많이 붙일 수 있게 해주지만, 연결 가능한 것과 완수 가능한 것은 같은 뜻이 아니다.
결국 장기 에이전트 작업의 완주율은 하나의 점수로 끝나는 문제가 아니다. 현 시점에서 가장 보수적인 읽기는 이렇다. 첫째, 단일 단계 정확도보다 작업 단위 완료율이 우선이다. 둘째, 사람 시간과 연결한 시간지평선이 있어야 난도 비교가 가능하다. 셋째, 부분점수와 반복실행 분포를 함께 봐야 실제 활용 가능성을 읽을 수 있다. 넷째, 벤치마크 자체의 오염과 결함을 점검하지 않으면 수치가 역량보다 데이터셋 상태를 반영할 수 있다. 기업이 에이전트 도입을 검토할 때도 ‘몇 점을 받았는가’보다 ‘어떤 종류의 긴 작업을 어떤 조건에서 몇 번 중 몇 번 끝냈는가’를 먼저 물어야 하는 이유가 여기에 있다.
자료: Model Context Protocol Blog, MCP joins the Agentic AI Foundation(2025-12-09); Agent2Agent Protocol, Specification v0.2.6(열람일 2026-10-16); METR, Task-Completion Time Horizons of Frontier AI Models(열람일 2026-10-16); Anthropic, Anthropic Economic Index report: Economic primitives(2026-01-15); OpenAI, BrowseComp: a benchmark for browsing agents(2025-04-08); OpenAI, Introducing LifeSciBench(2026-06-11); OpenAI, Why SWE-bench Verified no longer measures frontier coding capabilities(2026-02-23); OpenAI, Separating signal from noise in coding evaluations(2026-07-08); Anthropic, Introducing Claude Sonnet 5.5(2026-10-02); Anthropic, Introducing Claude Opus 5.5(2026-09-24)