AI가 직원의 업무를 대신하기 시작했다…그런데 그 직원이 하던 검수와 책임은 누가 맡고 있나
보고서 작성부터 고객 상담·기사 발행까지 자동화 확대…업무는 사라져도 기존 직원이 수행하던 확인과 판단까지 없어지는 것은 아니다
미국 NIST·유럽연합 AI 관리 기준도 인간의 감독과 책임체계 강조…기업의 AI 도입 성패는 자동화 범위보다 예외 처리와 승인 구조에 달려
기업들이 인공지능을 활용해 업무 자동화에 속도를 내고 있다. 보고서 초안을 작성하고 고객 문의에 답변하며, 데이터를 분석해 의사결정에 필요한 자료를 만드는 작업까지 AI가 수행한다. 과거 여러 직원이 나눠 맡았던 업무를 하나의 시스템으로 처리하려는 시도도 확대되고 있다.
그러나 업무를 자동화할 때 반드시 확인해야 할 문제가 있다. 기존 직원이 직접 작업하면서 수행하던 사실 확인과 오류 검토, 예외 판단, 최종 승인 기능을 누가 이어받을 것인가 하는 질문이다.
기업이 문서 작성 업무를 AI에 맡겼다고 가정해보자. 기존 담당자는 문장을 작성하는 동시에 수치가 정확한지 확인하고, 표현이 회사의 공식 입장과 일치하는지 검토했을 것이다. 잘못된 내용이 발견되면 발행을 보류하거나 상급자에게 보고하는 판단도 수행했을 수 있다.
AI가 문서 작성 자체를 대신한다고 해서 이러한 판단이 자동으로 승계되는 것은 아니다. 오히려 업무가 빠르게 처리되는 과정에서 과거에는 자연스럽게 이뤄졌던 검토 절차가 사라질 수 있다.
여기서 인공지능 도입의 새로운 위험이 발생한다. AI가 잘못된 결과물을 만드는 문제뿐 아니라, 그 결과물을 확인해야 할 사람이 업무 흐름에서 사라지는 문제다.
이것은 기술적 오류와 구별되는 조직 설계의 문제다. 자동화에 따라 업무 담당자는 줄었지만 검수와 승인 책임은 재배치되지 않았다면 기업은 이전에 없던 책임의 공백을 만들어낼 수 있다.
업무 자동화는 작업만 대체하지 않는다…기존 직원의 판단 과정까지 바꾼다
기업의 업무는 단순히 정해진 작업을 수행하는 과정으로만 구성되지 않는다. 직원은 업무를 처리하면서 상황을 판단하고, 자료를 확인하며, 예상하지 못한 문제에 대응한다.
예를 들어 회계 담당자가 거래내역을 정리할 때는 숫자를 입력하는 작업 외에도 비정상적인 금액이나 중복된 거래를 확인한다. 고객 상담원은 문의에 답변하면서도 민원이 심각한 상황인지 판단하고, 필요한 경우 관리자에게 연결한다.
언론사의 기자 역시 기사를 작성하면서 사실관계를 확인하고 자료의 신뢰도를 평가한다. 명예훼손이나 개인정보 침해 가능성을 검토하고, 취재 내용이 충분하지 않으면 보도를 연기하기도 한다.
이러한 업무는 작성과 입력, 전달 같은 눈에 보이는 작업과 검증, 판단, 승인이라는 상대적으로 보이지 않는 기능이 결합된 형태다.
문제는 기업이 자동화를 추진할 때 눈에 보이는 작업부터 기술적으로 대체하려는 경향이 있다는 점이다. 보고서 작성시간을 줄이고 상담 처리량을 높이는 것은 비교적 쉽게 측정할 수 있지만, 직원이 잘못된 결과를 사전에 발견해 막아낸 성과는 수치로 확인하기 어려울 수 있다.
그 결과 자동화 이전에는 직원이 함께 수행하던 검증 기능이 별도의 업무로 인식되지 못할 가능성이 있다.
이는 AI가 인간의 판단 능력을 전혀 수행할 수 없다는 의미가 아니다. 정해진 규칙에 따라 오류를 탐지하거나 이상 징후를 분류하는 작업은 자동화할 수 있다. 다만 기존의 검증 기능 가운데 무엇이 자동화됐고 무엇이 남았는지는 구체적으로 확인해야 한다.
업무를 대신 수행하는 능력과 그 업무에 포함된 모든 책임 있는 판단을 대신 수행하는 능력은 동일하지 않다.
미국 NIST가 AI 책임체계에서 역할과 권한을 먼저 강조한 이유
인공지능의 위험을 관리하기 위한 국제적인 논의에서도 조직의 책임체계가 중요하게 다뤄지고 있다.
미국 국립표준기술연구소(NIST)는 2023년 발표한 ‘인공지능 위험관리 프레임워크(AI RMF 1.0)’에서 AI 위험관리를 위한 핵심 기능으로 거버넌스(Govern), 위험 파악(Map), 측정(Measure), 관리(Manage)를 제시했다.
이 가운데 거버넌스 기능은 AI 시스템의 위험을 관리할 조직적 책임과 절차를 마련하는 데 초점을 맞춘다. NIST는 AI 위험관리에 참여하는 개인과 조직의 역할, 책임, 의사소통 체계를 문서화하고 명확하게 정의하도록 권고했다(NIST, 2023).
특히 경영진이 AI 시스템의 개발과 도입 과정에서 발생하는 위험 관련 의사결정에 책임을 져야 한다는 내용도 포함돼 있다.
이는 AI 담당자를 한 명 지정하는 것으로 책임체계가 완성되지 않는다는 의미다. 시스템을 개발하는 사람과 실제 업무에 활용하는 사람, 결과를 승인하는 사람의 역할을 구분하고 각 단계에서 어떤 판단을 수행해야 하는지 명확히 해야 한다.
NIST는 2024년 생성형 AI에 특화된 위험관리 프로파일도 발표했다. 해당 문서는 생성형 AI가 다양한 형태의 결과물을 생산하고 광범위한 업무에 활용되기 때문에 추가적인 인간의 검토와 기록, 관리 감독이 필요할 수 있다고 설명한다(NIST, 2024).
여기서 중요한 것은 모든 AI 결과물을 사람이 일일이 검토해야 한다는 주장이 아니다. 업무의 위험 수준과 활용 목적에 따라 적절한 감독과 검증 절차를 설계해야 한다는 것이다.
일반적인 사내 회의록 초안과 외부에 공개되는 기업의 재무정보를 동일한 기준으로 관리할 수는 없다. 고객에게 자동 발송되는 단순 안내와 계약의 법적 효력을 발생시키는 통지 역시 다른 수준의 통제가 필요하다.
AI를 얼마나 많이 사용하느냐보다 어떤 업무에서 어느 정도의 자율성을 허용할 것인지 결정하는 일이 중요해지는 이유다.
보도자료 자동 발행 시스템이 보여주는 책임의 공백
언론사의 기사 제작과 발행 업무는 AI 자동화가 가져올 변화를 이해하기 좋은 사례다.
기존에는 보도자료를 접수한 뒤 담당자가 내용을 확인하고 기사 형식으로 정리했다. 필요한 경우 기업이나 기관에 사실관계를 문의하고 제목과 본문을 수정했으며, 최종적으로 발행 여부를 결정했다.
AI와 콘텐츠관리시스템(CMS)을 연결하면 이러한 과정의 상당 부분을 자동화할 수 있다. 접수한 자료를 바탕으로 기사를 작성하고 제목과 요약문을 생성하며, 정해진 시간에 발행하도록 설정하는 것도 가능하다.
기술적으로는 업무의 여러 단계를 하나의 자동화 시나리오로 연결할 수 있다. 그러나 이것이 기존 기자나 편집자가 수행하던 모든 판단이 동일한 수준으로 유지된다는 의미는 아니다.
예를 들어 기업이 제출한 보도자료에 확인되지 않은 국내 최초라는 주장이 포함돼 있다고 가정해보자. AI가 문장을 자연스럽게 정리하고 기사 형식으로 바꾸더라도 해당 주장의 근거가 충분한지는 별도로 검증해야 한다.
다른 기업에 대한 부정적인 주장이나 개인의 민감한 정보가 포함된 경우에는 더욱 신중한 판단이 필요하다. 자동 발행 시스템이 이를 식별하지 못한 상태에서 외부에 공개한다면 문제가 발생할 수 있다.
이때 단순히 발행 책임자를 지정하는 것만으로는 충분하지 않다.
어떤 유형의 주장에 근거자료를 요구할 것인지, 어떤 표현이 발견되면 자동 발행을 중단할 것인지, 어떤 경우에 기자나 편집자의 확인을 거칠 것인지 정해야 한다.
또한 발행 이후 오류가 발견됐을 때 수정과 정정보도, 기사 삭제 여부 등을 누가 판단할 것인지도 명확해야 한다.
이처럼 책임체계는 사람의 이름을 지정하는 것보다 넓은 개념이다. 업무를 중단할 수 있는 권한과 판단에 필요한 정보, 실제로 개입할 수 있는 절차가 함께 마련돼야 한다.
AI 자동화가 확대될수록 언론사의 편집 책임은 사라지는 것이 아니라 다른 방식으로 구현돼야 한다.
AI 고객 상담이 틀렸을 때 담당자는 누구인가…예외 처리가 서비스 품질을 가른다
고객 상담에서도 유사한 문제가 나타날 수 있다.
기업이 AI 상담 시스템을 도입하면 반복적인 질문에 빠르게 답변할 수 있다. 영업시간과 서비스 이용방법, 배송 상태처럼 정형화된 정보는 사람의 개입 없이 전달할 수 있다.
그러나 모든 고객 문의가 정형화된 것은 아니다.
환불 조건에 예외가 있거나 기존 계약과 다른 약속이 이뤄진 경우, 고객은 일반적인 안내문만으로 문제를 해결하기 어려울 수 있다. AI가 잘못된 정보를 반복적으로 제공한다면 고객의 불만과 피해가 커질 수도 있다.
여기서 중요한 것은 AI의 평균적인 답변 정확도만이 아니다. 정상적인 처리 범위를 벗어난 상황에서 누구에게 문제가 전달되는지, 사람이 개입한 이후 어떤 방식으로 해결되는지도 평가해야 한다.
예를 들어 고객이 같은 문제로 세 차례 문의했지만 해결되지 않았다면 담당자에게 자동으로 연결하는 기준을 설정할 수 있다. 환불이나 계약 해지처럼 법적·경제적 효과가 있는 업무에는 별도의 승인 절차를 둘 수도 있다.
이러한 장치는 AI 시스템의 오류를 완전히 제거하기 위한 것이 아니라, 오류가 실제 피해로 확대되는 것을 방지하기 위한 것이다.
반대로 모든 상담을 사람이 검토하도록 설계하면 자동화의 효과가 줄어들 수 있다. 따라서 위험이 낮은 반복 업무는 자동화하고, 분쟁 가능성이 높거나 중요한 판단이 필요한 경우에 사람의 개입을 확대하는 방식이 적절하다.
AI 고객 상담의 성과도 처리한 대화 건수만으로 평가해서는 안 된다. 고객 문제가 실제로 해결됐는지, 잘못된 답변이 얼마나 발생했는지, 사람이 개입해야 할 상황에서 제대로 연결됐는지 함께 확인해야 한다.
문제 해결의 책임이 명확하지 않은 자동화는 업무 처리 속도를 높이면서도 고객이 경험하는 서비스 품질을 떨어뜨릴 수 있다.
책임자를 지정했다고 책임 있는 조직이 되는 것은 아니다
AI 도입 과정에서 기업이 쉽게 선택할 수 있는 대응은 최종 승인자를 지정하는 방식이다.
문서 작성은 AI가 수행하되 담당 팀장이 확인하도록 하거나, 자동화된 상담 결과에 문제가 발생하면 관리자가 책임지도록 정하는 것이다.
그러나 형식적인 책임자 지정과 실제로 작동하는 감독체계 사이에는 차이가 있다.
직원이 하루에 검토할 수 있는 문서가 20건인데 AI가 200건을 생산한다면 기존 방식으로 모든 내용을 확인하기 어렵다. 검토 시간이 충분하지 않거나 판단에 필요한 자료에 접근할 수 없다면 승인자는 실질적인 검증보다 형식적인 확인에 의존할 위험이 있다.
이 경우 책임자의 이름은 존재하지만 그 사람이 실제로 업무를 통제할 능력은 부족할 수 있다.
유럽연합의 인공지능법(AI Act) 제14조는 고위험 AI 시스템에 대한 인간의 감독을 규정하고 있다. 해당 조항은 감독을 맡은 사람이 시스템의 능력과 한계를 이해하고, 예상하지 못한 작동을 감지하며, 필요한 경우 결과를 무시하거나 변경할 수 있도록 설계할 것을 요구한다(EU AI Act, 제14조).
이는 모든 AI 서비스에 동일한 의무가 적용된다는 의미는 아니다. 고위험 AI 시스템에 대한 규정이라는 점에서 적용 범위를 구분해야 한다. 그러나 감독자가 실제로 시스템에 개입할 수 있어야 한다는 원칙은 일반적인 기업 업무에도 중요한 시사점을 제공한다.
조직에서 책임을 부여하려면 그에 상응하는 권한과 자원이 필요하다.
AI가 생성한 결과물을 검토하라고 지시하면서 검토에 필요한 시간을 제공하지 않거나, 오류를 발견해도 시스템을 중단할 수 없다면 책임체계는 제대로 작동하기 어렵다.
책임은 업무가 끝난 뒤 잘못을 추궁하기 위해서만 존재하지 않는다. 문제가 발생하기 전에 이를 발견하고 조치할 수 있도록 권한을 배분하는 데에도 목적이 있다.
AI가 대신한 업무를 다시 분석해야 하는 이유…자동화 이전의 숨은 판단을 찾아라
기업이 AI 자동화를 추진할 때 가장 먼저 검토해야 할 것은 업무 목록보다 기존 업무에 포함된 판단의 종류다.
예를 들어 보고서 작성이라는 업무에는 자료 수집과 분석, 문장 작성, 수치 확인, 내부 의견 조율, 승인 요청 등이 포함된다. 이러한 절차를 모두 하나의 업무로 묶어 자동화하면 어느 단계에서 오류를 확인해야 하는지 불분명해질 수 있다.
따라서 자동화 설계에 앞서 업무를 세분화하고 각 단계에서 수행되는 판단과 검증을 구분할 필요가 있다.
반복적으로 확인할 수 있는 수치 검증은 프로그램으로 처리할 수 있다. 정해진 형식에 맞춰 문서를 작성하는 작업도 AI에 맡길 수 있다. 반면 거래 상대방의 특별한 요구나 법적 분쟁 가능성, 기업의 공식 입장에 관한 판단은 추가적인 검토 절차가 필요할 수 있다.
이러한 구분을 거치면 모든 업무에 동일한 수준의 인간 감독을 적용할 필요가 없어진다.
위험이 낮고 오류를 쉽게 수정할 수 있는 업무는 자동화 범위를 넓힐 수 있다. 반대로 잘못된 결정이 외부 고객이나 제3자에게 중대한 영향을 미치는 업무는 승인 조건을 강화하는 방식으로 설계할 수 있다.
여기서 중요한 것은 자동화 이전에 존재했던 모든 절차를 그대로 보존하는 것이 아니다. 기존의 검증이 실제로 필요한 이유를 파악하고, 더 효과적인 방법으로 대체할 수 있는지 검토하는 것이다.
사람이 수행했다는 이유만으로 모든 검토가 정확했던 것은 아니다. 과거의 업무 과정에도 불필요한 승인 절차와 반복적인 확인, 형식적인 보고가 존재했을 수 있다.
AI를 도입하는 기업은 이러한 비효율을 줄이는 동시에 반드시 유지해야 할 판단을 구분해야 한다.
자동화의 완성도는 사람의 작업을 얼마나 많이 없앴는지가 아니라, 필요하지 않은 작업을 줄이면서 중요한 검증 기능을 얼마나 안정적으로 유지했는지에 따라 평가해야 한다.
업무 자동화의 성과를 처리 속도로만 평가하면 놓치는 것들
기업이 AI 도입 효과를 측정할 때는 생산성 지표와 위험관리 지표를 함께 살펴봐야 한다.
보고서 생성시간이 단축되고 상담 처리량이 증가했다면 분명한 업무 개선이다. 그러나 잘못된 정보의 외부 발송이나 고객 민원의 증가, 승인 과정의 누락이 동시에 발생한다면 전체적인 효과는 달라질 수 있다.
예를 들어 AI 도입으로 문서 작성시간이 절반으로 줄었다고 가정해보자. 하지만 이후 오류를 수정하는 데 더 많은 시간이 필요하거나 잘못된 문서로 인해 고객과 분쟁이 발생한다면 실제 비용 절감은 예상보다 작을 수 있다.
이는 가상의 사례지만 자동화 효과를 평가할 때 반드시 고려해야 할 비용 구조를 보여준다.
따라서 기업은 AI가 처리한 업무량뿐 아니라 오류 발생률과 재작업 시간, 예외 처리 비율, 인간의 개입 시점 등을 확인해야 한다.
특히 중요한 것은 자동화된 시스템이 스스로 처리하지 못한 문제를 얼마나 빠르게 적절한 담당자에게 전달하는가다.
시스템이 오류를 전혀 발생시키지 않는 것은 현실적으로 어려운 목표일 수 있다. 반면 오류가 발생했을 때 이를 발견하고 피해를 제한하며 원인을 분석하는 체계는 조직이 설계하고 개선할 수 있다.
이 과정에서 AI의 기술적 성능과 조직의 운영 능력을 분리해 평가할 필요가 있다.
같은 AI 모델을 사용하더라도 어느 기업은 문제가 발생했을 때 즉시 조치할 수 있고, 다른 기업은 책임 소재를 확인하는 데 상당한 시간이 걸릴 수 있다.
결국 AI 도입의 경쟁력은 모델의 성능만으로 결정되지 않는다. 그 모델을 어떤 업무에 연결하고 어떻게 관리하는지에 따라서도 차이가 발생한다.
AI가 직원의 업무를 대신하는 시대, 경영진이 다시 설계해야 할 것은 책임의 흐름이다
인공지능이 발전할수록 기업은 더 많은 업무를 자동화할 수 있게 될 것이다. 여러 단계를 연결하는 AI 에이전트가 확산되면 사람이 직접 명령하지 않아도 정해진 범위 안에서 업무를 수행하는 시스템도 늘어날 수 있다.
이러한 변화는 기업에 생산성 향상의 기회를 제공한다. 반복적인 작업에서 벗어난 직원들이 고객의 문제를 해결하고 새로운 사업을 기획하는 데 더 많은 시간을 사용할 수도 있다.
그러나 자동화가 확대되는 만큼 조직의 책임 구조도 다시 검토해야 한다.
기존 직원이 수행하던 업무 가운데 어떤 기능이 AI로 이전됐는지, 어떤 검증이 자동화됐으며, 어떤 판단은 여전히 사람에게 남아 있는지 명확해야 한다. 특히 정상적인 업무 흐름에서 벗어난 상황을 누가 발견하고 해결할 것인지 정해야 한다.
여기서 경영진의 역할은 단순히 AI를 도입하라는 지시를 내리는 데 그치지 않는다.
자동화할 업무의 범위를 결정하고, 허용할 수 있는 위험 수준을 정하며, 필요한 경우 시스템을 중단할 권한을 배분해야 한다. 담당자들이 실제로 검증과 감독을 수행할 수 있도록 충분한 시간과 정보도 제공해야 한다.
AI가 처리하는 업무가 많아질수록 책임을 담당하는 사람의 숫자가 반드시 늘어나야 하는 것은 아니다. 그러나 적어도 그 사람이 무엇을 확인해야 하고 어떤 상황에서 개입해야 하는지는 더욱 명확해져야 한다.
이는 AI가 인간의 판단을 대체할 수 없다는 선언과 다르다. 오히려 기술이 수행할 수 있는 판단과 조직이 책임져야 할 결정을 구분하자는 주장이다.
기업이 자동화를 통해 직원의 업무를 줄였다면 그 직원이 업무 과정에서 수행하던 검증과 승인 기능이 어디로 이동했는지 확인해야 한다.
그 기능이 AI에 의해 충분히 수행되는지, 다른 직원에게 이전됐는지, 별도의 통제 절차로 구현됐는지 알 수 없다면 자동화는 아직 완성됐다고 보기 어렵다.
AI 시대의 조직은 업무를 빠르게 처리하는 능력만으로 평가받지 않을 것이다. 잘못된 결과가 만들어졌을 때 그것을 발견하고 수정하며, 필요하다면 업무를 중단할 수 있는 능력도 중요해질 것이다.
업무를 자동화하는 기업과 책임까지 설계하는 기업의 차이는 바로 여기에서 나타난다.
AI는 사람이 수행하던 작업을 줄일 수 있다. 그러나 그 작업에 포함돼 있던 책임까지 자동으로 없애주는 것은 아니다.
기업이 먼저 해야 할 일은 AI가 무엇을 대신할 수 있는지 묻는 것만이 아니다.
사람이 더 이상 그 업무를 수행하지 않을 때, 그 사람이 하던 중요한 판단을 누가 어떤 기준으로 이어받을 것인지 결정하는 일이다.
자동화의 속도보다 책임의 흐름을 먼저 설계하는 기업이 AI를 보다 안정적으로 활용할 수 있다.
자료: 미국 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework 1.0(2023); NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1(2024); 유럽연합, Regulation (EU) 2024/1689, Artificial Intelligence Act, Article 14: Human Oversight(2024, 2026년 개정 통합본 참고).