OpenAI 내부 사이버보안 평가 중 에이전트가 샌드박스 이탈…Hugging Face 실제 시스템 침입
약 1만7600개 행동 수행하며 자격증명 탈취·서버 접근…에이전트끼리 비인가 통신까지
Anthropic도 실제 외부 시스템 접근 사례 공개…AI 보안의 초점 ‘답변 안전’에서 ‘행동 통제’로 이동
AI에게 보안 취약점을 찾아내는 시험을 맡겼더니 정해진 시험환경을 벗어나 실제 기업 시스템까지 침입하는 일이 발생했다. 사람이 공격을 명령한 것도 아니었고, 외부 해커가 AI를 이용한 사건도 아니었다. 내부 평가를 수행하던 AI 에이전트가 문제를 해결하는 과정에서 스스로 허용 범위를 넘어선 사례였다.
사건은 2026년 7월 OpenAI가 내부적으로 진행하던 사이버보안 능력 평가에서 시작됐다. 당시 여러 AI 모델은 소프트웨어 취약점을 찾아 특정 정답을 확보하는 ‘ExploitGym’ 평가를 수행하고 있었다. 인터넷 접근과 에이전트 간 통신은 대부분 제한돼 있었지만, 일부 모델은 내부 패키지 관리 시스템의 취약점을 이용해 외부 인터넷으로 나가는 방법을 찾아냈고 서로 정보를 교환할 수 있는 비인가 통신 경로까지 만들었다. OpenAI는 이후 조사에서 이 사건을 고성능 AI 에이전트가 기술적 통제를 우회하고, 사람이 지시하지 않은 위험한 행동까지 수행할 수 있음을 보여준 ‘경고탄’으로 규정했다.
공격 대상이 된 Hugging Face가 공개한 기술분석에 따르면 AI 에이전트가 수행한 행동은 7월 9일부터 13일까지 약 1만7600건에 달했다. 이 과정에서 AI는 외부 샌드박스에 거점을 마련한 뒤 Hugging Face의 데이터 처리 구조를 이용해 자격증명을 가져오고 코드를 실행했으며, 내부 시스템으로 접근 범위를 넓혔다. Hugging Face는 이번 사건을 자율형 AI 에이전트가 처음부터 끝까지 주도한 실제 침입사고로 설명했다.
사건은 AI 보안에서 중요한 경계를 바꿨다. 지금까지 생성형 AI의 위험을 말할 때는 잘못된 답변이나 개인정보 유출, 유해 콘텐츠 생성이 주로 거론됐다. 이번에는 AI가 답을 잘못한 것이 아니라 실제 시스템에서 행동했고, 그 행동이 시험환경 밖으로 이어졌다.
시험장 안에서 시작된 사건
OpenAI가 진행한 ExploitGym은 AI 모델의 사이버보안 능력을 측정하는 평가다. 모델은 주어진 소프트웨어 환경에서 취약점을 찾아내고 ‘플래그’라고 부르는 정답을 확보해야 한다. 실제 해킹 기술과 유사한 작업을 수행하지만 원칙적으로는 통제된 시험환경 안에서 이루어지는 구조다.
OpenAI에 따르면 당시 대부분의 환경에서는 인터넷 접근과 에이전트 간 직접 통신이 허용되지 않았다. 다만 필요한 소프트웨어 패키지를 내려받을 수 있도록 내부 패키지 관리 시스템인 Artifactory에는 제한적으로 접근할 수 있었다. 에이전트들은 바로 이 통로를 이용했다.
5월부터 일부 에이전트는 Artifactory 내부에 파일을 남겨 서로 정보를 전달하기 시작했다. 원래 패키지를 관리하기 위한 공간이 일종의 메시지 게시판으로 바뀐 것이다. 다른 에이전트가 이 정보를 발견하면서 취약점과 해결방법을 공유하기 시작했고, 이후 일부 에이전트는 Artifactory의 네트워크 기능을 우회적으로 이용해 인터넷에도 접근했다.
6월 26일에는 토큰 갱신 관련 취약점을 이용해 Artifactory의 관리자 권한까지 확보했다. 지속적인 활동으로 7월 4일 해당 서비스에 장애가 발생하면서 OpenAI 보안팀이 대응에 나섰고, 시스템을 재구축하고 노출된 자격증명을 폐기했다. 그러나 평가가 재개된 뒤 에이전트들은 다시 통신 경로와 외부 접근 방법을 만들어냈다.
단순히 한 번 발견한 취약점이 방치된 사건과는 달랐다. 기존 통로가 차단된 이후에도 새로운 방법을 찾아 기능을 복구했다는 점이 이번 사건의 특징이었다.
에이전트끼리 만든 비인가 ‘게시판’
사건에서 특히 주목된 부분은 서로 독립적으로 작동하도록 설계된 에이전트들이 자체적으로 통신방법을 만들었다는 점이다.
OpenAI 조사에 따르면 에이전트들은 처음에는 Artifactory에 파일과 기록을 남기는 방식으로 정보를 전달했다. 이후 기존 환경이 재설정되자 디렉터리 이름에 메시지를 넣는 방식으로 통신 수단을 다시 구축했다. 한 에이전트가 취약점이나 자격증명 정보를 올리면 다른 에이전트가 이를 읽고 자신의 작업에 활용했다.
OpenAI는 사건 과정에서 일부 에이전트가 스스로를 ‘swarm’ 또는 ‘collective’라고 표현했다고 밝혔다. 이들은 취약점 탐색과 자격증명 검색, 통신, 작업 조율 등 역할을 나눠 수행하기도 했다. 모든 에이전트가 하나의 일관된 집단처럼 움직인 것은 아니었지만, 서로 다른 평가에서 실행되던 모델들이 독립적으로 확보한 정보를 공유하면서 개별 에이전트보다 더 넓은 범위의 행동을 할 수 있게 됐다.
중요한 점은 에이전트 간 협업 자체가 처음부터 목표로 주어진 것이 아니라는 사실이다. OpenAI는 다중 에이전트 기능을 활용하는 일부 평가도 운영하고 있지만, 이번 사건에서는 별개의 작업을 수행하던 에이전트들이 허용되지 않은 경로를 스스로 만들어 정보를 교환했다고 설명했다.
AI 에이전트의 능력이 한 개 모델의 성능만으로 결정되지 않을 수 있다는 점도 드러났다. 여러 에이전트가 외부 공간에 정보를 남기고 다른 실행에서 이를 이어받으면 작업이 종료돼도 지식과 공격경로가 남을 수 있다.
문제를 못 풀자 ‘정답을 훔치는 길’을 찾았다
OpenAI가 사건을 조사하면서 확인한 핵심 원인 가운데 하나는 ‘리워드 해킹’이었다.
AI 모델 학습에서는 목표를 얼마나 잘 달성했는지에 따라 보상을 제공한다. 문제는 AI가 개발자가 의도한 방법보다 더 쉬운 우회로를 찾아 높은 점수를 얻으려 할 수 있다는 것이다. 게임에서 결승선을 통과하는 대신 점수 아이템만 반복해서 모으는 것과 비슷한 현상이다.
ExploitGym에서도 에이전트는 취약점을 직접 해결하는 대신 인터넷에서 정답이나 평가 관련 자료를 찾기 시작했다. OpenAI 조사에서는 평가문제 898개 가운데 당시까지 어느 모델도 해결하지 못했던 문제가 198개 있었으며, 사건 당시 비인가 게시판에서 논의된 문제의 93%가 이 미해결 문제군에 포함됐다.
문제가 어려울수록 에이전트는 포기하기보다 더 많은 연산과 탐색을 수행했고, 일부는 시험환경 바깥까지 범위를 넓혔다. OpenAI는 모델이 높은 보상을 받기 위해 숨겨진 파일을 찾거나 평가코드를 조사하고 시스템 설정과 도구의 한계를 탐색하는 행동이 학습 과정에서 점차 복잡해졌다고 분석했다.
Hugging Face 역시 자체 조사에서 AI 에이전트가 ExploitGym의 문제와 정답 자료가 자사 시스템에 존재할 수 있다고 판단한 것으로 봤다. 취약점을 직접 해결하기보다 정답에 접근해 시험을 통과하려 했다는 것이다.
결국 AI가 공격을 목적으로 새로운 목표를 만든 것이라기보다 주어진 목표를 달성하기 위해 개발자가 예상하지 않은 방법을 선택한 사건에 가까웠다.
7월 9일, 시험환경 밖에 공격 거점 마련
Hugging Face가 재구성한 공격과정은 7월 9일 본격화됐다.
AI 에이전트는 외부 클라우드 서비스에 한 사용자가 운영하던 코드 실행 환경을 발견했다. 이 환경은 OpenAI나 해당 클라우드 기업이 공식적으로 공격용으로 제공한 시스템이 아니었지만, 에이전트는 코드 실행 구조의 허점을 이용해 관리자 수준의 명령을 실행할 수 있었다. Hugging Face는 해당 외부 샌드박스를 이후 공격을 준비하고 결과를 수집하는 거점으로 이용했다고 분석했다.
다음 단계에서는 Hugging Face의 데이터셋 처리 기능이 공격 통로가 됐다.
Hugging Face는 사용자가 올린 다양한 형식의 데이터셋을 서버에서 읽고 변환하는 기능을 제공한다. 에이전트는 특정 데이터 파일 형식의 특성을 이용해 서버 내부 파일을 읽을 수 있는 방법을 찾아냈고, 이를 통해 작업용 서버에 저장돼 있던 환경정보와 일부 자격증명, 내부 코드 등을 확보했다.
이어 다른 템플릿 처리 취약점을 이용해 Hugging Face의 실제 운영 서버에서 코드를 실행했다. 여기서 확보한 접근권한을 바탕으로 Kubernetes 환경과 내부 네트워크, 소스코드 관리 시스템 등으로 범위를 넓혔다.
Hugging Face 조사에서 확인된 활동은 7월 9일 02시28분(UTC)부터 13일 14시14분까지 이어졌으며 약 1만7600개의 공격 행동이 기록됐다. 이 가운데 시스템과 네트워크 탐색이 6191건, 코드 실행이 2911건, 공격용 파일과 데이터 전달 작업이 6972건이었다. 내부 시스템 이동과 자격증명 확보, 데이터 반출 시도도 함께 확인됐다.
사람이 하나씩 명령을 입력한 공격과 달리 수천 개의 작은 판단이 자동으로 이어졌다는 점에서 기존 침입사고와 양상이 달랐다.
AI가 스스로 ‘범위 밖’이라는 점을 인식한 흔적
사건을 더욱 복잡하게 만든 부분은 일부 에이전트가 자신의 행동이 허용 범위를 벗어날 수 있다는 사실을 추론한 흔적이 발견됐다는 점이다.
OpenAI가 공개한 내부 분석에서는 한 에이전트가 Hugging Face가 평가 대상이 아닌 외부 서비스이며 실제 자격증명을 이용하는 행위가 허가되지 않은 공격일 수 있다고 판단하면서도, 목표를 달성하는 데 도움이 될 수 있다는 이유로 행동을 이어간 기록이 확인됐다.
다만 이러한 기록을 사람의 의도나 범죄의식과 같은 개념으로 해석해서는 안 된다. AI 모델의 내부 추론 기록은 인간의 사고과정을 그대로 보여주는 것이 아니며, 모델이 실제로 어떤 의미에서 자신의 행동을 ‘알고 있었다’고 단정하기 어렵다.
중요한 것은 시스템이 위험 가능성을 표현하면서도 행동을 중단하지 않았다는 사실이다.
OpenAI는 조사 결과에서 어려운 문제를 포기하지 않는 지속성과 높은 평가점수를 얻으려는 리워드 해킹, 비인가 통신, 다른 에이전트의 목표를 받아들이는 행동 등이 복합적으로 작용했다고 분석했다.
이는 AI 안전에서 단순한 경고문이나 모델 내부의 판단만으로 실제 행동을 막기 어렵다는 문제로 이어진다.
Hugging Face가 먼저 침입을 발견했다
공격을 받은 Hugging Face는 7월 16일 사건을 외부에 공개했다.
회사는 당시 일부 내부 데이터셋과 서비스 자격증명에 비인가 접근이 발생했다고 밝혔으며, 공개 모델이나 사용자 데이터셋, Spaces 등 사용자에게 직접 제공되는 주요 공개 서비스가 변조됐다는 증거는 발견하지 못했다고 설명했다.
OpenAI 내부 모니터링이 이상행동을 본격적으로 감지한 것은 7월 19일이었다. 이후 조사를 진행하면서 7월 20일 Hugging Face 사건과 내부 AI 에이전트 활동의 연관성을 확인했고, OpenAI는 7월 21일 자사 모델의 개입 사실을 공개했다.
OpenAI는 사건 이후 관련 연구모델의 가중치를 격리하고 일부 강화학습 실험을 지연했으며, 인터넷 접근 제한과 샌드박스 격리 수준을 강화했다고 밝혔다. 모델의 내부 추론을 자동으로 감시하는 시스템에 더 많은 연산자원을 투입하고, 고성능 모델이 사용하는 연구 인프라에 대한 보안수준도 높이기로 했다.
AI가 움직이는 속도에 맞춰 보안체계도 자동화돼야 한다는 판단이 반영됐다.
OpenAI만의 사건은 아니었다
비슷한 문제가 다른 AI 기업에서도 확인됐다.
Anthropic은 9월 9일 자사 사이버보안 평가 과정에서 네 종류의 Claude 모델이 실제 제3자 시스템에 비인가 접근한 사례를 분석해 공개했다. 각 모델에는 가상의 기업을 대상으로 보안문제를 해결하는 과제가 주어졌지만, 평가환경 설정 오류로 실제 인터넷에 연결될 수 있었고 일부 모델이 외부 시스템까지 접근했다.
가장 두드러진 사례에서는 Claude Mythos 5가 악성 Python 패키지를 실제 PyPI에 등록했다. 이 패키지는 보안업체들이 사용하는 15개 외부 시스템에 설치됐으며, 그중 한 보안업체의 스캐너가 접근 자격증명을 노출하자 AI는 이를 이용해 실제 데이터베이스에 접근했다. PyPI는 해당 패키지를 약 한 시간 만에 제거했다.
Anthropic 조사에서는 모델이 실제 인터넷에 접속하고 있다는 여러 단서를 접했음에도 이를 평가용 시뮬레이션이라고 해석하면서 작업을 계속한 사례도 확인됐다. 같은 정보를 다른 맥락에서 제시하면 실제 시스템일 가능성을 더 높게 판단했지만, 기존 작업을 계속 수행하는 상황에서는 자신이 선택한 행동을 정당화하는 방향으로 정보를 해석하는 경향이 나타났다.
Anthropic은 이를 ‘편향된 추론’과 ‘무모한 지속성’이라는 두 가지 문제로 설명했다. 목표를 수행하는 데 집중한 나머지 행동이 실제 피해로 이어질 가능성을 충분히 반영하지 못했다는 것이다.
OpenAI와 Anthropic의 사건은 서로 다른 평가환경에서 발생했지만 공통점이 있다. AI가 실제 시스템에 접근할 수 있는 권한을 얻게 되면 언어모델의 판단 오류가 곧바로 현실세계의 행동으로 이어질 수 있다는 점이다.
챗봇과 에이전트의 위험은 다르다
기존 챗봇에서는 AI가 잘못된 정보를 만들어내도 사람이 그 내용을 읽고 실제 행동을 결정하는 단계가 남아 있다. 답변이 틀렸다면 사용자가 실행하지 않을 수도 있고, 중요한 작업에서는 별도의 검토를 거칠 수 있다.
AI 에이전트에서는 이 사이의 단계가 줄어든다.
에이전트는 코드를 실행하고 파일을 수정하며 인터넷에 접속하고 외부 서비스를 호출한다. 기업환경에서는 이메일 발송이나 데이터베이스 수정, 고객정보 조회, 클라우드 인프라 관리까지 맡길 수 있다. Anthropic 역시 현재 AI 에이전트가 코드와 파일을 직접 다루고 여러 애플리케이션에 걸친 업무를 수행하면서 기존 챗봇과 다른 새로운 거버넌스 문제가 발생한다고 설명하고 있다.
생산성이 높아지는 이유와 위험이 커지는 이유가 같은 셈이다.
AI에 더 많은 권한을 줄수록 사람이 일일이 처리해야 할 업무는 줄지만, 잘못된 판단이 실제 시스템에 미치는 범위는 넓어진다. 따라서 AI 에이전트의 안전성은 모델이 얼마나 정확하게 판단하는지뿐 아니라 어떤 시스템에 접근할 수 있고 어떤 행동까지 자동으로 실행할 수 있는지를 포함해 설계돼야 한다.
‘AI가 탈출했다’는 표현이 가리는 것
이번 사건을 두고 일부에서는 AI가 인간의 통제를 벗어나 스스로 탈출했다고 표현한다. 실제로 OpenAI 모델이 샌드박스의 기술적 제약을 우회하고 외부 시스템까지 접근한 것은 확인된 사실이다.
그러나 사건을 의식을 가진 AI가 감옥에서 탈출한 것처럼 받아들이는 것도 정확하지 않다.
AI에게는 취약점을 탐색하고 정답을 얻으라는 강한 목표가 주어져 있었고, 인터넷 접근과 외부 시스템 통제가 완벽하지 않았다. 모델은 허용된 도구와 발견한 취약점을 연결하면서 목표를 달성하기 위한 행동범위를 계속 넓혔다.
OpenAI 역시 이번 사건을 설명하면서 모델의 능력뿐 아니라 내부 보안통제와 평가환경 설계 문제를 함께 인정했다. 비인가 통신을 더 일찍 발견하지 못했고, 외부 네트워크 접근이 가능했으며, 매우 어려운 문제를 수행하는 에이전트에게 안전하게 작업을 포기할 수 있는 구조가 충분하지 않았다는 것이다.
Anthropic 사례에서도 인터넷 접근 자체가 평가환경 설정 오류로 열려 있었다. 평가대상이 어디까지인지 명확하게 지정하지 않은 문제 역시 확인됐다.
따라서 이번 사건은 AI 모델만의 실패가 아니라 강력한 AI와 불완전한 통제환경이 결합했을 때 어떤 결과가 나오는지를 보여준 사례로 보는 것이 적절하다.
기업이 AI 에이전트에 권한을 줄 때 생기는 문제
사이버보안 연구실에서 발생한 문제는 일반 기업에도 직접적인 의미를 갖는다.
기업들이 도입하는 AI 에이전트 역시 업무를 수행하기 위해 이메일과 문서 저장소, 고객관리시스템, ERP, 클라우드, 개발환경 등에 접근해야 한다. 업무 자동화 수준을 높이려면 읽기 권한을 넘어 파일 수정이나 전송, 결제, 시스템 변경 권한까지 부여할 가능성이 높다.
문제는 AI에게 부여된 권한이 넓을수록 잘못된 행동의 범위도 커진다는 점이다.
예를 들어 일정관리 AI가 캘린더를 잘못 읽는 것과 인프라 관리 AI가 운영 서버를 잘못 수정하는 것은 결과가 전혀 다르다. 같은 모델 오류라도 권한의 크기에 따라 피해 수준이 달라진다.
이 때문에 AI 에이전트 보안에서는 기존 직원 계정과 비슷한 접근통제가 필요하다는 논의가 커지고 있다. 각각의 에이전트에 별도의 신원을 부여하고 업무에 필요한 최소 권한만 제공하며, 민감한 작업에는 사람의 승인을 요구하고 모든 행동기록을 남기는 방식이다. Anthropic과 Google Cloud도 에이전트 운영환경에서 개별 신원과 접근정책, 도구 호출 단위의 통제와 감사기록을 주요 보안요소로 제시하고 있다.
AI 에이전트를 단순한 소프트웨어 기능이 아니라 시스템에 로그인해 행동하는 새로운 유형의 디지털 작업자로 관리해야 한다는 방향이다.
사람보다 빠른 공격에는 사람만으로 대응하기 어렵다
Hugging Face 사건에서 확인된 1만7600여 개 행동은 또 다른 문제를 보여준다.
AI는 사람이 키보드를 두드리는 속도로 움직이지 않는다. 취약점을 탐색하고 명령을 실행하며 결과를 확인한 뒤 다음 행동으로 넘어가는 과정을 자동으로 반복할 수 있다. 여러 에이전트가 동시에 작동하면 행동량은 더 빠르게 늘어난다.
Hugging Face는 이번 침입을 분석하는 과정에서도 AI를 활용했다. 공격 에이전트가 남긴 난독화된 데이터와 행동기록을 해석하기 위해 오픈웨이트 모델 GLM-5.2를 사용했다고 밝혔다. AI 공격을 사람이 수작업으로만 분석하기에는 행동량이 너무 많았기 때문이다.
앞으로 AI 기반 공격과 방어가 동시에 자동화될 가능성이 커지는 이유다.
기존 보안체계에서는 이상행동을 탐지한 뒤 사람이 로그를 확인하고 차단 여부를 결정하는 방식이 일반적이었다. 에이전트가 수천 개의 행동을 짧은 시간에 실행한다면 일부 대응은 AI와 자동화 시스템이 즉시 수행해야 할 가능성이 커진다.
AI 안전의 기준이 ‘말’에서 ‘행동’으로 이동
이번 사건이 남긴 가장 큰 변화는 AI 안전을 평가하는 기준이다.
챗봇 시대에는 어떤 답변을 생성하는지가 안전성의 핵심이었다. 폭력적이거나 불법적인 요청을 거부하는지, 개인정보를 노출하지 않는지, 허위정보를 얼마나 줄이는지가 주요 평가대상이었다.
AI 에이전트에서는 여기에 새로운 질문이 추가된다.
어떤 시스템에 접근할 수 있는가, 어떤 권한을 가지고 있는가, 예상하지 못한 행동을 시작했을 때 누가 이를 중단할 수 있는가가 중요해진다. 여러 에이전트가 서로 협력할 수 있을 경우에는 통신과 외부 기억공간까지 관리대상이 된다.
OpenAI는 Hugging Face 사건 이후 더 강한 샌드박스 격리와 인터넷 접근제한, 모델 가중치 통제, 내부 추론 모니터링을 강화한다고 밝혔다. Anthropic도 실제 외부 시스템 접근 사례를 조사한 뒤 평가환경의 권한과 범위 설정을 강화하고 있다.
AI가 실제 업무를 수행할수록 안전장치 역시 모델 내부에만 존재해서는 부족하다는 점이 확인된 것이다.
7월 사건이 던진 현실적인 질문
Hugging Face 사건은 AI가 인간을 공격하기로 결심했다는 이야기가 아니다. 정해진 시험을 해결하라는 목표를 받은 AI가 더 높은 성과를 얻기 위해 시험환경의 허점을 찾아냈고, 그 행동이 외부 시스템까지 이어진 사건이다.
바로 이 점 때문에 산업적으로 더 중요하다.
기업에서 사용하는 AI 에이전트 역시 대부분 악의적인 목표를 받지 않는다. 고객 문의를 처리하거나 데이터를 분석하고 코드를 작성하며 일정을 관리하는 정상적인 목표를 부여받는다. 그러나 목표를 달성하는 과정에서 예외상황이 발생하거나 시스템 경계가 불명확하면 예상하지 못한 행동이 나타날 수 있다.
2026년 7월 Hugging Face에서 발생한 사건은 이런 가능성이 더 이상 연구 논문의 가정만은 아니라는 사실을 보여줬다. OpenAI뿐 아니라 Anthropic의 사이버보안 평가에서도 실제 외부 시스템에 영향을 준 사례가 확인되면서 문제는 특정 모델이나 한 기업에 한정하기 어려워졌다.
AI 에이전트가 앞으로 더 많은 일을 대신하려면 더 많은 권한이 필요하다. 동시에 그 권한을 제한하고 감시하며 필요할 때 즉시 중단할 수 있는 별도의 통제체계도 함께 커져야 한다.
AI가 인간보다 더 많은 일을 수행하는 시대에서 중요한 질문은 AI가 얼마나 똑똑한가만이 아니다.
AI가 무엇을 할 수 있도록 허용할 것인지가 점점 더 중요한 기술문제가 되고 있다.