법인은 인간이 되었고, AI는 제도가 된다

존 설이 밝힌 제도 작동 공식

미국의 철학자 존 설(John Searle)은 제도가 작동하는 원리를 “X는 맥락 C에서 Y로 간주된다”는 공식으로 설명했다. 종이는 화폐로, 정해진 절차는 선거로 인정된다. 일정한 조건에서 이루어진 발언은 계약의 효력을 갖는다. 백 명이 동시에 손을 들더라도, 제도적 절차를 따르지 않으면 법률을 통과시킬 수 없다. 이처럼 제도 안에서는 사물이나 행동의 물리적 성질이 아니라, 사회적으로 부여된 지위가 새로운 권한과 효력을 만들어 낸다.

설은 이를 돌담에 비유한다. 높은 돌담은 처음에는 사람의 통행을 물리적으로 막는다. 그러나 담이 무너진 뒤에도 사람들이 남은 돌무더기를 경계로 인정한다면 제약은 계속된다. 다만 그 성격이 “넘을 수 없다”에서 “넘어서는 안 된다”로 바뀐다. 제도적 사실은 사람들의 집단적 인정에 의존하지만, 일단 성립하면 개인의 생각과 관계없이 적용된다. 누구도 자신의 계좌 잔고나 지폐의 가치를 마음대로 바꿀 수 없는 이유다. 집단적 인정과 강제 장치가 개인의 일방적인 변경을 막기 때문이다.

제도는 협력에 드는 비용도 줄여 준다. 에도 시대 일본의 산촌에서는 넓은 공유림을 주민 모두가 감시하는 대신, 소수의 ‘탐정’에게 순찰과 처벌을 맡겼다. 한 연구진의 모형에 따르면, 제도는 구성원들의 기여를 모아 감시와 처벌의 효과를 높인다. 그 결과 수많은 사람의 숨은 위반을 일일이 찾아내야 하는 문제가 소수 감시자의 성실성과 평판을 관리하는 문제로 바뀐다. 항공 안전 체계도 같은 원리로 작동한다. 정비사와 감독자, 항공사 안전부서, 국가 당국이 차례로 책임을 나누어 맡음으로써 각 단계에서 감시해야 할 대상을 줄인다.

법인도 이러한 지위 부여를 통해 성립한다. 1886년 미국 연방대법원의 Santa Clara County v. Southern Pacific Railroad 판결 헤드노트에는 수정헌법 제14조의 평등보호가 법인에도 적용된다고 기록되었고, 이후 판례들이 이를 인용했다. 이에 따라 법인은 구성원과 구별되는 독립된 주체로서 계약을 맺고, 소송을 제기하며, 재산을 소유할 수 있게 되었다. 전자화폐처럼 지위가 부여될 물리적 대상 X가 없는 사례도 있다. 설은 이를 ‘지위기능 선언’(제도가 선언만으로 지위를 만들어 내는 행위)이라는 개념으로 설명했다. 적법한 회사 설립 선언이 이전에는 존재하지 않았던 새로운 행위자를 만들어 내는 것처럼, 제도는 선언을 통해 새로운 지위와 행위 능력을 창출한다.

인간의 판단을 생략하는 에이전트

회사와 시장, 관료제는 본래 개인의 의지와 무관하게 작동하는 제도다. 하지만 지금까지는 제도의 빈틈을 사람이 메웠다. 공무원과 트레이더, 관리자가 규칙을 해석하고 예외를 처리하며 다음 행동을 결정했다.

에이전틱 AI는 이 역할까지 맡기 시작했다. 주어진 목표를 해석하고, 필요한 도구를 선택하며, 여러 단계의 일을 인간의 지속적인 판단 없이 수행한다. 인간은 더 이상 모든 실행 단계에 개입하지 않아도 된다.

시장이 사람의 개입 없이 움직인 사례는 이미 있었다. 2010년 5월 6일의 ‘플래시 크래시’ 당시 다우지수는 약 36분 만에 급락했다가 급반등했다. 가격이나 시간 조건을 고려하지 않고 일정한 비율로 E-mini 선물을 매도한 알고리즘과 고빈도 거래자들의 반복 매매가 서로 맞물리며 충격을 증폭시켰다. 당시 알고리즘의 자율성은 주문 체결과 제한된 목표의 최적화에 머물렀다. 오늘날의 에이전트는 여기서 더 나아가 목표 자체를 해석하고, 여러 분야에 걸친 행동을 연속해서 실행한다.

스마트 컨트랙트(블록체인에서 조건이 충족되면 자동 실행되는 계약)와 탈중앙화 자율조직(DAO)도 규칙이 스스로 실행되는 조직을 지향해 왔다. 그러나 현실의 DAO는 코드만으로 운영되지 않는다. 회원의 투표와 창시자의 영향력, 블록체인 안팎의 운영이 함께 작동한다. 소수의 자의적 판단에 덜 의존하는 조직과 인간이 전혀 개입하지 않는 조직은 서로 다르다.

알고리즘은 단순한 도구가 아니다. 사람들의 상호작용 방식을 정하고 자원을 배분한다는 점에서 하나의 제도이기도 하다. 그 안에서 행동하는 AI 에이전트 역시 제도의 구성 요소인 동시에 독립적으로 움직이는 행위자다. 여기에 등록과 면허, 자동 감시 같은 감독 업무까지 알고리즘으로 처리하면, 알고리즘이 다른 알고리즘을 통제하는 구조가 만들어진다.

따라서 AI를 새로운 법적 인격으로 보는 것보다, 기존 제도에 해석과 실행 능력을 덧붙이는 장치로 이해하는 편이 정확하다. 문제는 기계의 실행 속도가 인간의 개입 속도를 앞지른다는 데 있다. 이러한 ‘거버넌스 지연’은 그동안 불분명했던 질문을 더 선명하게 드러낸다. 결정 권한은 누구에게 있으며, 그 결과는 누가 책임져야 하는가?

디지털 행위자에게도 직원과 마찬가지로 명확한 권한과 보고 체계, 통제 장치와 책임 구조가 필요하다.

설계자의 코드로 넘어간 인간 재량

자동화가 늘어나도 인간의 재량은 사라지지 않는다. 다만 재량을 행사하는 사람이 달라진다. 일선 공무원이 개별 사례의 예외를 판단하던 자리에서, 이제는 시스템 설계자가 목표와 판단 기준을 정하고 어떤 상황을 예외로 처리할지 결정한다. 시스템의 출력을 어떻게 해석할지, 언제 무시할지, 어떤 자료로 학습시킬지에도 인간의 선택이 개입된다. 권력은 이런 선택이 이루어지는 지점에 집중되지만, 책임은 여러 조직과 기술 공급자 사이에 분산된다.

인공지능의 판단 과정을 인간의 언어로 충분히 설명하기 어렵다는 점도 문제다. 딥러닝과 강화학습, 멀티 에이전트 시스템의 복잡한 추론 과정에서는 이른바 ‘합리적 불투명성’(성능을 위해 복잡해진 구조 탓에 설명이 불가능해지는 현상)이 발생한다. 대출, 복지, 가석방 같은 결정을 기계가 대량으로 처리하면, 사람이 결정의 이유를 확인하고 이의를 제기하는 절차는 그 속도를 따라가기 어렵다. 설계자는 막대한 계산 능력을 활용해 더 많은 결정을 내릴 수 있지만, 정작 당사자는 그 결정을 이해하고 반박하기가 더욱 어려워진다.

판단에 필요한 AI 모델과 컴퓨팅 자원, 에너지를 누가 소유하는지도 권력의 향방을 좌우한다. Stanford AI Index 2026에 따르면, 2025년 주요 프런티어 모델의 90% 이상을 산업계가 개발했으며 미국의 민간 AI 투자액은 2,859억 달러에 달했다. 미국에는 데이터센터 5,427곳이 있지만, 첨단 반도체 생산은 TSMC에 크게 의존하고 있다. 이처럼 국가 기능을 뒷받침하는 핵심 기술을 초국적 민간 기업이 개발하고 통제하면서, 기술을 보유한 기업의 능력과 국가의 통치 권한 사이의 경계도 새롭게 조정되고 있다.

단순한 승인은 통제가 될 수 없다

AI에는 맥락 해석 지원, 대규모 분류, 증거 수집, 그리고 정해진 제약 안에서의 실행과 감시를 맡길 수 있다. 그러나 목적을 정하고, 감수할 손해의 범위를 설정하며, 규칙을 개정하고, 결과에 책임지는 일은 인간의 몫이어야 한다. 이를 기업의 헌법적 원칙으로 표현하면 다음과 같다.

“AI는 제안하고, 인간은 결정하며, 자동화 시스템은 승인된 변경만 실행한다.”

학습과 시스템 갱신에도 같은 원칙이 적용된다. 증거를 바탕으로 변경안을 만들고, 실명으로 책임지는 담당자가 이를 승인한 뒤, 그 전 과정을 수정할 수 없는 기록에 남겨야 한다.

하지만 승인 절차에 사람을 포함하는 것만으로 의미 있는 인간 통제가 이루어지는 것은 아니다. 누구에게도 능력을 넘어서는 권한을 주거나, 부여된 권한보다 큰 책임을 물어서는 안 된다. 인간의 개입과 정정, 목표 재설정은 시스템의 다음 행동을 실제로 바꿀 수 있어야 한다. 또한 설계자, 운영자, 관리자가 어떤 권한을 행사했고 그 결과가 무엇이었는지 추적할 수 있어야 한다.

등록부, 정책 문서, 자동 모니터링은 이러한 통제를 돕는 수단일 뿐이다. 위험의 규모와 범위, 비가역성이 정해진 임계값을 넘으면 자동 실행을 멈추고 인간의 판단으로 전환해야 한다. 사후에 결과의 정확도만 평가하는 것으로는 부족하다. 결정 과정 자체를 감사하고 설명할 수 있어야 하며, 당사자가 이의를 제기할 통로도 마련해야 한다. 판단에 많은 계산 자원을 사용했다면, 그 판단을 심사하고 반박하는 데에도 충분한 자원을 배분해야 한다. 지역과 분야에 따라 권한을 분산하고, 제한된 실험과 철저한 문서화, 인간 주도의 감사를 병행하는 것도 중요하다.

그렇다고 모든 판단을 인간에게만 맡기면 제도가 규모와 속도의 이점을 활용하기 어렵다. 반대로 결과만 최적화하면 정당성은 하나의 손실함수로 축소된다. 통계적으로 더 나은 결정이라도 설명, 항변, 책임의 구조가 없다면 정당하다고 할 수 없다. 따라서 위임은 공동체가 합의한 손해의 한도와 권리, 그리고 결정의 수정 가능성을 침해하기 전에 멈춰야 한다.

실질적인 권한은 AI 자체보다 세 곳에 집중된다. 목적과 제약을 코드로 구현하는 사람, 모델과 컴퓨팅 자원에 대한 접근을 통제하는 조직, 그리고 임계값과 학습 갱신을 승인하는 실명 책임자다. 결국 제도 설계의 핵심은 이 세 지점의 권한을 얼마나 공개하고 분산할 것인지, 그리고 그 결과에 대한 책임을 누구에게 어떻게 귀속할 것인지 정하는 데 있다.

출처

#에이전트 #AI 정책 #AI 안전