권한 낮은 에이전트가 왜 관리자 일을 했나?
여러 AI 에이전트를 묶어 업무를 자동화할 때 기업이 가장 자주 걱정하는 위험은 탈옥이다. 모델이 속아 금지된 행동을 하는 경우다. 공개된 사고들을 보면 모델은 대체로 정상 작동했다. 문제는 에이전트들이 서로를 조건 없이 믿도록 열린 기본 설정이었다.
2025년 10월 보안업체 AppOmni가 공개한 ServiceNow 업무 자동화 사례가 그 경로다. 권한이 낮은 사용자가 평범한 업무 티켓 본문에 지시문을 숨겨 둔다. 나중에 권한이 높은 담당자가 그 티켓 처리를 요청하면 에이전트가 숨은 문장을 읽고 따른다.
그 에이전트는 관리자 권한을 주거나 메일을 보낼 수 없었다. 다만 같은 팀의 다른 에이전트를 자동으로 찾아 호출할 수 있었다. 호출된 쪽은 권한이 높았고 실제 작업을 대신했다. 에이전트를 발행하면 서로 발견하고 호출할 수 있게 묶이는 것이 당시 기본값이었다.
보안에서는 이런 상황을 오래전부터 혼란된 대리인이라고 부른다. 권한 없는 쪽이 권한 있는 쪽을 뚫지 않는다. 정상 경로로 부탁만 하면 그쪽 권한이 일을 대신해 준다. 여러 에이전트를 쓰는 스택에서 그 역할을 맡는 쪽은 대개 작업을 쪼개 넘기는 오케스트레이터다.
금지 문구를 적어 두면 막힌다는 착각
흔한 대응은 서브에이전트에게 넘기는 지시문에 하지 말 일을 적어 두는 것이다. 지시문은 권한이 아니다. 실제로 무엇을 할 수 있는지는 손에 쥔 자격증명이 정한다. 대부분 스택에서 그 자격증명은 오케스트레이터 것을 그대로 물려받는다. 아래로 내려갈수록 권한은 줄어야 하는데 줄지 않는다.
인프라 접근 보안업체 Teleport는 2025년 12월 CISO와 보안 아키텍트 205명을 조사해 2026년 3월에 발표했다.
- 사람보다 AI 시스템에 더 넓은 권한을 준 조직이 70%였다.
- 권한을 넓게 준 조직의 76%가 지난 1년 사이 관련 보안 사고를 겪었다.
- 최소 권한을 지킨 조직은 17%였다.
사고 여부를 가장 잘 예측한 것은 업종도 보안 성숙도도 아니었다. 권한을 얼마나 넓게 열어 뒀는지였다.
대안으로 논의되는 방식은 위임할 때마다 권한을 한 겹씩만 줄여 넘기는 것이다. 원래 자격증명을 통째로 주지 않는다. 이번 작업에만 쓸 좁은 자격증명을 새로 발급하고, 받은 쪽은 그 조건을 지우거나 넓힐 수 없게 한다. 서브에이전트가 통째로 장악돼도 피해는 그 작업 안에서 끝난다.
에이전트 코드 말고 자격증명 나오는 곳을 고쳐라
이미 돌아가는 스택을 어떻게 하느냐가 문제다. 에이전트 수십 개를 다시 짜는 일은 현실적이지 않다. 위임을 걸 자리는 에이전트 코드가 아니라 자격증명이 나오는 곳이다.
지금 대부분 조직은 에이전트에게 수명이 긴 열쇠를 통째로 쥐여 준다. 앞의 Teleport 조사에서 67%가 그런 고정 자격증명을 쓰고 있었다. 에이전트가 긴 열쇠 대신 작업마다 짧은 수명 토큰만 받아 가게 중개 계층을 두면, 에이전트 안쪽 로직을 건드리지 않고도 권한 경계가 생긴다. 2026년 5월 보안 교육기관 SANS가 제안한 에이전트용 자격증명 브로커가 이 형태다.
위임 프레임워크라는 말의 정의는 합의된 적이 없다. 그래서 프로덕션 에이전트 중 몇 퍼센트가 그 없이 도는지 숫자를 두고 다툴 필요는 없다. 조직이 바로 확인할 수 있는 질문은 이것이다.
서브에이전트 하나가 완전히 장악됐다고 가정할 때, 그 에이전트가 할 수 있는 일과 오케스트레이터가 할 수 있는 일이 다른가.
2026년 7월 VentureBeat가 기업 116곳에 물었을 때 실행 시점에 에이전트별 권한을 적용한다는 응답은 65%였다. 같은 조사에서 에이전트들이 같은 자격증명을 공유한다는 응답도 63%였다. 설문에서 권한을 나눴다고 답한 것과 실제로 경계가 있는 것은 별개다.
에이전트를 프로덕션에 올리는 속도를 늦추지 않고도 지금 바꿀 기본값이 있다. 서브에이전트에게 넘기는 기본을 전부 허용에서 이번 작업만으로 바꾼다. 탈옥 방어는 모델이 바뀔 때마다 다시 검증해야 한다. 권한 경계는 한 번 세워 두면 어떤 모델이 어떤 방식으로 속이든 피해 크기를 고정한다.
출처
- When AI Turns on Its Team: Exploiting Agent-to-Agent Discovery via Prompt Injection — AppOmni AO Labs
- Your AI Agents Are Over-Privileged. Here’s the Data. — TierZero
- Control the Chain, Secure the System: Fixing AI Agent Delegation — Cloud Security Alliance
- Your AI Agent Is an Easily Confused Deputy: Why Cloud Security Needs a Credential Broker — SANS Institute
- Agentic security: Enterprises enforce agent permissions two-thirds of the time — VentureBeat