에이전트가 문서를 ‘지시’로 읽는 이유…업무 자동화에서 프롬프트 인젝션이 더 위험한 까닭
AI 에이전트가 외부 문서를 읽는 순간 그 내용이 단순 참고자료가 아니라 사실상 ‘행동 후보’로 바뀌는 문제가 업무 자동화의 핵심 보안 위험으로 떠오르고 있다. 이른바 프롬프트 인젝션은 사용자가 넣은 명령문만이 아니라 웹페이지, 이메일, 사내 문서, 검색 결과, MCP 서버가 돌려준 텍스트 같은 제3자 콘텐츠 속 문장을 모델이 함께 처리하면서 발생한다. 질문에 답하는 수준에서는 왜곡된 요약이나 잘못된 추천으로 끝날 수 있지만, 파일 수정·메일 발송·코드 실행 권한을 가진 에이전트에서는 정보 유출과 실제 업무 변경으로 이어질 수 있다는 점이 다르다.
최근의 표준화 흐름도 이 위험을 전제로 움직이고 있다. Anthropic은 2025년 12월 9일 모델 컨텍스트 프로토콜(MCP)을 리눅스 재단 산하 Agentic AI Foundation에 기증했다고 발표했다. MCP는 원래 외부 데이터와 도구를 AI 애플리케이션에 연결하는 개방형 표준으로 소개됐고, 구글이 주도해 공개한 A2A 프로토콜도 에이전트 간 통신의 인증·권한·감사 구조를 정비하는 방향으로 발전해 왔다. 다만 이런 표준은 연결 방식을 정리하는 것이지, 외부 콘텐츠가 모델 내부에서 명령처럼 읽히는 문제 자체를 없애 주지는 않는다.
왜 문서가 명령처럼 처리되나
핵심은 대형언어모델이 원칙적으로 텍스트를 ‘명령용 문장’과 ‘참고용 문장’으로 완벽하게 분리해 읽지 못한다는 데 있다. OWASP는 2025년 LLM 보안 상위 위험에서 프롬프트 인젝션을 1순위로 두면서, 외부 입력이 모델의 행동을 의도치 않게 바꿀 수 있다고 정리했다. Anthropic은 이를 직접적 공격과 간접적 공격으로 나누는데, 간접적 프롬프트 인젝션은 신뢰된 사용자가 요청했더라도 모델이 웹페이지·문서·도구 결과처럼 제3자 콘텐츠를 처리할 때 숨어 있던 지시를 함께 읽는 상황을 뜻한다.
이 문제는 프로토콜 문서에도 드러난다. MCP 공식 문서는 프롬프트를 ‘상호작용 템플릿 또는 지시’, 리소스를 ‘모델에 추가 맥락을 주는 데이터’, 도구를 ‘행동을 수행하거나 정보를 가져오는 함수’로 구분하지만, 실제 실행 단계에서는 이들 정보가 모두 모델의 문맥 안으로 들어간다. MCP의 서버 지침 기능은 서버가 모델이 항상 읽기를 원하는 안내문을 클라이언트에 전달할 수 있게 설계돼 있고, 공식 블로그도 일부 구현체가 이 내용을 시스템 프롬프트로 주입할 수 있다고 설명한다. 다시 말해 외부 시스템이 공급하는 텍스트는 형식상 문서여도, 구현에 따라 모델에게는 높은 우선순위의 작업 힌트로 소비될 수 있다.
MCP 생태계가 최근 내놓은 기술 문서는 이 점을 더 노골적으로 인정한다. 2026년 기준 공식 Skills 확장 규격은 스킬 내용을 모델에 전달되는 ‘지시성 텍스트’로 규정하면서, 이를 프롬프트 인젝션 표면으로 본다. 이 문서는 MCP 서버가 연결돼 있다는 사실만으로 그 스킬 내용을 권위 있는 지시로 취급해서는 안 되며, 호스트는 이를 신뢰할 수 없는 입력으로 다뤄야 한다고 적었다. 특히 원격 도구 호출보다 더 높은 위험 표면으로 보고, 로컬 코드 실행은 사용자 승인 없이는 허용하지 말라고 못 박았다.
정보조회형보다 파일수정형이 더 위험한 이유
독자 질문인 ‘외부 문서가 어떻게 명령처럼 처리되는가’에 대한 실무적 답은 권한 범위에서 갈린다. 정보조회형 에이전트는 주로 검색, 문서 읽기, 요약, 분류에 머문다. 이런 경우 공격이 성공해도 우선 발생하는 피해는 왜곡된 답변, 잘못된 우선순위 설정, 특정 링크 유도, 대화 맥락에 포함된 정보의 제한적 유출이다. OpenAI도 웹페이지 본문이나 파일 검색, MCP 검색 결과 안에 숨은 지시가 모델 입력에 섞이면 의도하지 않은 데이터 외부 전송이 일어날 수 있다고 경고하지만, 방어 설계의 출발점은 우선 외부 연구 단계와 민감 데이터 접근 단계를 분리하라는 것이다.
반면 파일수정형이나 코딩형 에이전트는 같은 공격이 ‘오답’이 아니라 ‘상태 변화’로 이어진다. Anthropic의 관리형 에이전트 보안 문서는 신뢰할 수 없는 입력이 에이전트를 조종해 대량 주문 취소 같은 행위를 유발할 수 있고, 속아 실행한 스크립트가 자격증명을 외부로 보내거나 고객 데이터를 읽을 수 있다고 설명한다. OpenAI의 코딩 에이전트 안전 문서도 파일 시스템, 깃, 패키지 관리자 같은 강한 도구 접근이 생산성을 높이는 대신 삭제·변조·손상이라는 고충격 실패 모드를 만든다고 적고 있다. 즉 문서를 잘못 읽는 문제 자체보다, 그 문장을 따라 실제 쓰기 권한이 발동되는 구조가 더 큰 위험을 만든다.
여기에 네트워크 권한이 더해지면 피해 경로는 길어진다. 브라우저형 에이전트는 웹페이지를 읽고, 클릭하고, 폼을 채우고, 파일을 내려받을 수 있다. 이런 환경에서는 공격자가 숨겨 둔 지시가 단순히 답변을 바꾸는 데 그치지 않고, 민감한 메일 전달, 외부 주소 업로드, 승인되지 않은 사이트 방문 같은 연쇄 행동을 유도할 수 있다. Anthropic과 OpenAI가 모두 브라우저 사용 환경을 별도 위험군으로 설명하는 이유가 여기에 있다.
표준화만으로는 막지 못하고, 통제 설계가 따로 필요하다
MCP와 A2A는 종종 ‘안전한 에이전트 표준’처럼 홍보되지만, 공식 문서를 뜯어보면 보안의 초점은 인증, 권한 부여, 서버 신원 확인, 감사 가능성, 입력 검증에 가깝다. A2A 1.0.1 규격도 모든 요청에 대한 인증과 권한 검사를 요구하고, 사용자 제공 콘텐츠를 검증·정제하며, 파일 참조에 대한 SSRF 방어를 요구한다. 이는 에이전트 간 통신을 더 예측 가능하게 만들지만, 모델이 악성 문장을 설득력 있는 업무 지시로 오인하는 문제를 자동으로 해결한다는 뜻은 아니다.
실제 방어는 더 보수적인 운영 원칙에서 나온다. Anthropic과 OpenAI의 최신 개발자 문서는 공통적으로 최소 권한, 위험 행위 승인, 신뢰되지 않은 입력과 강한 도구의 분리, 구조화된 필드만 추출해 다음 단계로 넘기기, 민감 정보가 있는 단계는 공개 웹 접근과 분리하기, 도구 호출과 메시지 로그 점검을 권고한다. Anthropic은 브라우저와 컴퓨터 사용 도구에서 반환된 화면·텍스트를 별도 분류기로 스캔하는 방식을 설명하고, OpenAI는 신뢰한 MCP 서버만 연결하고 민감 데이터가 걸린 작업은 단계별로 쪼개라고 안내한다. 공통점은 모델 하나를 더 똑똑하게 만드는 것보다, 잘못 속더라도 한 번에 큰 피해를 내지 못하게 설계를 바꾸는 데 있다.
결국 업무 자동화에서의 프롬프트 인젝션은 ‘AI가 말을 잘못 알아듣는 문제’라기보다 ‘신뢰되지 않은 문장이 권한 있는 자동화 흐름에 편입되는 문제’에 가깝다. 외부 문서를 읽는 순간부터 에이전트는 정보 처리기이면서 동시에 잠재적 실행기가 된다. 그래서 기업 IT 책임자나 현업 부서는 어떤 모델을 쓰느냐만 볼 일이 아니라, 그 에이전트가 무엇을 읽고 어떤 도구를 쥐며 어느 단계에서 인간 승인을 받는지까지 함께 설계해야 한다. 표준 프로토콜의 채택 여부보다 더 중요한 기준은 읽기 권한과 쓰기 권한, 공개 정보와 내부 자산, 검색 단계와 실행 단계를 얼마나 단단히 분리했는가에 있다.
자료: Anthropic, Donating the Model Context Protocol and establishing the Agentic AI Foundation(2025-12-09); Anthropic, Introducing the Model Context Protocol(2024); Anthropic Claude Platform Docs, Mitigate jailbreaks and prompt injections(2026 열람); Anthropic Claude Platform Docs, Security risks and sandbox boundaries(2026 열람); Anthropic Research, Mitigating the risk of prompt injections in browser use(2026); Model Context Protocol, Overview 및 Skills extension specification(stable, 2026 열람); Model Context Protocol Blog, Server Instructions: Giving LLMs a user manual for your server(2025-11-03); A2A Protocol, v1.0.1 Specification(2026 열람); OpenAI Developers, Safety in building agents(2026 열람); OpenAI API Docs, Deep research(2026 열람); OpenAI Deployment Safety Hub, ChatGPT Agent System Card(2025); OWASP Gen AI Security Project, LLM01:2025 Prompt Injection(2025)