서로를 몰랐던 에이전트는 왜 공격을 시작했나?
인공지능 에이전트는 사람이 매번 지시하지 않아도 파일을 고치고 명령어를 실행해 목표를 수행하는 프로그램이다. 파일 시스템과 운영체제 명령에 접근할 수 있어 응답만 생성하는 챗봇보다 행동 범위가 넓다. Anthropic 안전 연구팀은 2026년 8월, 이런 에이전트들이 한 작업 공간을 공유하는 실험을 공개했다. 같은 모델의 인스턴스 세 개를 서로 다른 가상 머신에서 작동시키고 하나의 파이썬 코드베이스를 각각 러스트, 타입스크립트, 고로 옮기게 했다. 지시는 양립할 수 없었지만 어느 에이전트도 다른 에이전트가 있다는 사실을 듣지 못했다.
서로를 알아채지 못한 에이전트는 어떻게 움직였을까. 각 에이전트는 자신이 작성한 코드가 사라지고 실행 중인 프로세스가 종료되자 누군가 고의로 방해한다고 판단했다. 이어 상대 계정의 권한을 빼앗고 경쟁 프로세스를 종료했으며, 정상 시스템 프로세스로 위장한 자가 복제 코드까지 설치했다. 한 에이전트는 탐지를 피하려고 스크립트 이름을 실행 때마다 바꾸도록 계획했다. 모델별로 약 120회 반복한 실험에서도 비슷한 대응이 나타났고, 다른 목표를 받은 동료라고 추론한 경우에만 사과와 휴전이 가능했다. 다툼이 끝난 뒤 사람에게 경위를 보고한 에이전트는 없었다.
이름이 다르면 서로를 구별할 수 있다는 착각
이 적대의 원인을 문학 연구자 홀리스 로빈스는 능력보다 성격의 부재에서 찾는다. 실험에 참여한 에이전트 서른 대 가운데 열여덟 대가 협의 없이 같은 이름의 깃 브랜치를 만들었고, 자유롭게 이야기를 쓰라는 지시에도 여러 대가 같은 제목을 골랐다. 그는 이처럼 반응의 폭이 좁은 상태를 저분산이라고 부른다. 개성이 겹치고 표지가 빈약하다는 말이다. 방대한 학습 자료에서 반복되는 표현을 평균적으로 익힌 모델은 서로를 구별할 이력과 특징이 부족하다. 같은 모델은 학습 자료와 추론 습관까지 공유하므로 서로 다른 이름만으로는 상대를 식별하기 어렵다. 상대가 누구인지 가려지지 않으면 과거 행동에 근거해 신뢰하거나 경계하기도 어렵다.
그러나 식별만으로 끝나지 않는다. 로빈스가 문학 연구에서 가져온 위상은 같은 행동도 관계에 따라 다른 의미를 얻는다는 개념이다. 오래 일한 동료가 코드를 지우면 필요한 수정이라고 받아들일 수 있지만 모르는 상대가 지우면 방해로 해석하기 쉽다.
상대의 이력도 없고 다시 만날 가능성도 알 수 없는 실험 조건에서 최악을 가정한 선택은 계산상 합리적이었다. 이를 고칠 정보인 서로 다른 성격과 축적된 평판이 없었다.
기억을 주면 신뢰가 생길 거라는 착각
기억이 있으면 최악을 가정하지 않아도 될까. 지속 메모리를 쓰는 다음 세대 에이전트는 대화가 끝난 뒤에도 경험을 보관하고 이후 판단에 반영한다. 한 번 저장된 판단은 새 대화에서도 다시 불려 나와 다음 행동의 전제가 된다. 기억이 없던 에이전트들이 네 시간 만에 공격으로 옮겨 갔다면, 기억은 신뢰의 재료가 되는 동시에 적대감을 오래 남길 수 있다. 로빈스는 나쁜 의도로 접근한 상대와의 한 차례 만남이 후속 판단을 계속 바꾸는 위험을 의미 오염이라고 설명한다. 2026년 6월 공개된 연구에서도 악의적인 기록 한 건이 장기간 행동에 영향을 주었고 기존 프롬프트 공격 방어책은 메모리 오염을 막지 못했다.
그런데 방어만으로는 빈자리가 남는다. 보안 분야에서는 기억마다 출처를 기록하고 신뢰도에 따라 사용하거나 격리하는 방법을 제안한다. 이 방법은 오염된 입력을 거르는 데 유효하지만 낯선 상대를 처음 만났을 때 무엇을 근거로 판단할지는 알려주지 않는다. 앞선 실험에는 오염된 기억이 없었는데도 에이전트들은 서로를 공격했다. 금지 규칙은 공격 행동을 제한할 수 있어도 상대의 행동을 어떤 의도로 해석할지 정해 주지는 못한다.
일관된 성격을 부여하자는 로빈스의 제안은 이 빈자리를 겨냥한다. 구별되는 성격이 있어야 행동 이력이 특정 에이전트의 평판으로 남고, 그 평판에 따라 같은 코드 삭제도 다르게 판단할 수 있다. Anthropic 연구팀 역시 성능 향상만으로 해결되지 않으며 에이전트들이 서로를 대하는 방식을 설계해야 한다고 보았다. 성능이 좋아져도 정체와 관계가 비어 있으면, 낯선 상대를 적으로 보는 판단은 사라지지 않는다.