그럴듯한 픽셀과 검증 가능한 다음 상태의 경계

싱가포르국립대 연구진 Tong Wang 팀은 2018년부터 2026년 6월까지 발표된 연구 200편을 여덟 가지 기준으로 분석했다. 기준은 자산, 물리, 상호작용, 제어, 안정성, 상태 피드백, 다양성, 평가였다.

분석 결과, 제어 요건을 충족한 연구는 62.5%였다. 상호작용과 안정성은 각각 40%였다. 반면 자산은 19%, 물리는 17%, 상태 피드백은 22.5%에 그쳤다. 생성 모델이 제한된 환경에서는 시뮬레이터의 일부 기능을 대신할 수 있지만, 아직 엄밀한 시뮬레이터로 보기는 어렵다는 결론이다.

생성 모델과 시뮬레이터의 차이는 출력에 있다. 생성 모델은 주어진 조건에 맞춰 다음 장면을 만들어 낸다. 반면 시뮬레이터는 현재 상태와 행동을 입력받아, 물리적으로 검증하고 재현할 수 있는 다음 상태와 구조화된 피드백을 반환해야 한다. 이를 수식으로 나타내면 T:S×A→Π(S×F)다. 즉, 상태 S와 행동 A를 입력하면 다음 상태와 피드백 F의 확률분포를 출력한다는 뜻이다.

대표적인 사례인 GameNGen은 단일 TPU에서 게임 《Doom》을 초당 20프레임 이상으로 실행했다. 사람들은 실제 게임 영상과 생성된 영상을 거의 무작위 추측에 가까운 수준으로만 구별했다. 하지만 GameNGen이 객체의 상태나 물리값을 조회하는 API까지 대체할 수 있다는 사실은 입증되지 않았다.

OpenAI의 영상 생성 모델 Sora 역시 비디오 생성 기술을 범용 물리 시뮬레이터로 발전시키는 경로를 제시했다. 동시에 유리가 깨지는 현상과 같은 기본적인 물리 과정도 제대로 구현하지 못할 수 있다고 인정했다.

전체 구현 연구 163편 가운데 RGB 영상 이외의 센서급 출력을 명시한 연구는 45편뿐이었다. 물리 법칙을 형식적으로 보장하거나, 닫힌 루프에서 같은 결과를 재현할 수 있음을 보여 준 증거도 드물었다. 결국 현재의 생성 모델은 그럴듯한 장면을 만드는 데는 뛰어나지만, 검증 가능하고 재현 가능한 시뮬레이터의 요건을 충족하기에는 아직 한계가 있다.

네 가지 접근법이 마주한 물리적 정확성의 벽

잠재 동역학 모델

잠재 동역학 모델(내부의 압축된 표현 공간에서 미래를 예측하는 모델)은 압축된 내부 상태에서 미래를 예측하고, 그 예측을 바탕으로 정책을 학습한다. 이 계보는 데이비드 하와 위르겐 슈미트후버의 연구에서 PlaNet과 Dreamer로 이어졌다. DreamerV3는 하나의 설정만으로 150개가 넘는 환경을 학습하며 뛰어난 제어 성능을 보였다. 다만 고해상도 영상을 생성하거나, 객체별 상태를 사람이 이해할 수 있는 형태로 제시하는 능력은 부족하다.

물리가 부재한 비디오 생성기의 한계

확산 모델과 자기회귀 모델은 미래의 픽셀이나 토큰을 직접 생성한다. Genie의 잠재 행동 모델, NVIDIA의 월드모델 플랫폼 Cosmos, 720p 해상도에서 초당 수십 프레임의 상호작용을 구현한 Matrix-Game 계열이 이 접근에 속한다. 그러나 생성 품질이 곧 물리적 정확성을 뜻하지는 않는다. 조사된 확산 모델 연구 63편 가운데 물리 기준을 충족한 연구는 11편, 상태 피드백을 제공한 연구는 13편에 그쳤다.

동작은 기막힌데 원인을 모른다면?

JEPA(합동 임베딩 예측 아키텍처)는 픽셀을 복원하는 대신 추상 표현이 어떻게 변할지를 예측한다. 덕분에 효율이 높다. V-JEPA 2-AC는 행동 하나를 계획하는 데 약 16초가 걸려, 약 4분이 필요한 픽셀 생성 방식보다 15배 빨랐다. 또한 적은 데이터만으로 Franka 로봇의 제로샷 조작을 구현했다. 반면 사람이 직접 확인할 수 있는 영상이나 명시적인 객체 상태를 제공하지 않아 안전 감사에는 불리하다. 조사된 JEPA 연구 5편도 상태 피드백 측면에서는 뚜렷한 기여를 보이지 못했다.

하나로 뭉치는 월드모델.. 단 한 줄의 만능 공식은 없다

최근에는 이처럼 서로 다른 접근이 하나로 수렴하고 있다. 확산 모델과 자기회귀 모델 사이의 증류(큰 모델의 출력을 작은 모델에 옮겨 학습시키는 기법), Lyra 2.0과 GWM의 3D 메모리, τ0-WM과 WorldVLA의 행동 모델 결합, OrbiSim의 물리 엔진 통합이 대표적이다. 하지만 통합은 쉽지 않다. 픽셀 손실, 잠재 에너지, 정책 보상은 서로 단위와 목적이 다르기 때문이다. Being-H0.7이 제안한 ‘학습할 때는 융합하고 추론할 때는 분리하는’ 방식도 가능한 해법 중 하나일 뿐이다. 현재까지 평가의 여덟 축을 모두 충족한 시스템은 없다.

6편의 예외가 보여준 객체 상태 조회 기능의 힘

163편을 검토한 결과, 자아정보(에이전트 자신의 위치, 자세 같은 자기 상태 정보)를 제공한 연구는 65편, 센서 출력을 제공한 연구는 45편이었다. 보상, 종료 신호를 다룬 연구는 20편, 닫힌 루프 상호작용을 지원한 연구는 87편이었다(항목 간 중복 집계). 반면, 실행 중인 객체나 물리 상태를 직접 조회할 수 있는 연구는 단 6편에 불과했다. RGB 영상과 함께 깊이, 의미, 점유 지도를 제공하더라도 이는 센서 출력일 뿐, 개별 객체의 상태를 직접 조회하는 기능은 아니다.

이 기능을 제공한 연구는 다음 여섯 편이었다.

  • Playable Environments는 객체의 위치와 자세를, TrafficBots는 에이전트 상태를, PIN-WM은 물리량을 제공했다.
  • GigaWorld-0은 관절 동역학을, VectorWorld는 차선, 에이전트 필드를, OrbiSim은 객체 중심 상태를 제공했다.

나머지 연구는 화면을 렌더링할 수는 있지만, GetTransform(enemy_3)처럼 특정 객체의 상태를 호출하거나 마찰계수와 같은 물리 속성을 읽을 수 없는 게임 엔진과 비슷하다. 그 결과 정책 학습, 모델 예측 제어, 보상 계산, 디버깅 과정이 모두 픽셀에서 상태를 추정하는 작업에 의존한다.

접근법별로 한계의 형태는 다르지만 결과는 같다. 잠재 동역학 모델은 보상과 종료를 다루더라도 예측된 상태가 정책 내부에 머문다. 비디오 모델은 구조화된 상태를 별도의 지각 모델로 역추정해야 하므로 정보 손실과 보정 문제가 발생한다. JEPA의 잠재 표현은 기계가 처리하기에는 적합하지만, 이를 사람이 해석할 수 있는 상태로 변환하는 방법은 아직 체계화되지 않았다. 결국 세 접근법 모두 외부 호출자에게 제공할 수 있는 상태 인터페이스 F가 비어 있다.

데이터 증강 도구와 진짜 물리 엔진의 갈림길

게임과 일부 조작, 주행 과제에서 월드모델은 기존 시뮬레이터의 기능을 일부 대신했다. 그러나 MuJoCo, Isaac, Unity, Unreal, CARLA와 비교하면 물리적 신뢰성, 구조화된 상태 정보, 장기 재현성이 부족하다. 조사한 163편 가운데 상태를 직접 조회할 수 있는 연구가 6편뿐이라는 사실은 이를 잘 보여준다. 현재의 월드모델은 아직 시뮬레이터라기보다 조건에 따라 영상을 생성하는 모델에 가깝다.

월드모델을 시뮬레이터로 발전시키려면 다음 요소를 순서대로 갖춰야 한다. 먼저 객체의 상태를 구조화된 형태로 조회할 수 있어야 한다. 그다음 명시적 제어, 언어 명령, 잠재 행동을 하나의 인터페이스로 연결해야 한다. 장기 실행에서 발생하는 드리프트(시간이 지날수록 예측이 실제에서 벗어나는 현상)를 줄이고, 시드와 결정성을 관리해 반복 실행의 편차도 통제해야 한다. 여기에 검증 가능한 물리 모델을 결합해야 한다.

평가 기준도 달라져야 한다. 영상 품질을 나타내는 FVD만 측정해서는 시뮬레이터로서의 가치를 판단하기 어렵다. 대신 모델 안에서 훈련한 정책이 현실에서 과제 성공률을 얼마나 높이는지를 측정해야 한다. 마지막으로 상태 조회, 통일된 행동 인터페이스, 장기 재현성, 검증 가능한 물리, 실제 과제 효용이라는 다섯 요소를 세 가지 개발 경로의 혼합 구조로 통합해야 한다.

분야별 우선순위는 다르다. 로봇 분야에서는 자세, 접촉력, 질량 등을 직접 읽을 수 있는 상태 표현이 필요하다. 형식화된 물리와 실제 과제에서의 효용도 중요하다. OrbiSim의 물리 코어와 신경 렌더러 결합, ChronoDreamer의 접촉력 예측은 이러한 방향의 후보가 될 수 있다.

게임 분야에서는 GameNGen, Matrix-Game, GameFactory와 같은 모델을 기반으로 장기 안정성을 높여야 한다. 행동 규격을 명확히 정의하고, NPC(게임 속 비플레이어 캐릭터)의 상태와 게임 규칙도 조회할 수 있게 해야 한다. Cosmos 같은 플랫폼도 마찬가지다. 이런 인터페이스를 제공하고 전통적인 게임 엔진과의 비교 평가를 통과하지 못한다면, 시뮬레이터가 아니라 데이터 증강 도구에 머물 가능성이 크다.

배포 전에는 네 가지를 확인해야 한다.

  • 첫째, 같은 행동을 같은 시드로 실행했을 때 같은 결과가 재현되는가.
  • 둘째, 객체의 자세, 속도, 질량, 마찰을 이름이 부여된 필드로 조회할 수 있는가.
  • 셋째, 각 단계를 물리 불변량이나 인과적 개입으로 검증하는가.
  • 넷째, 모델 내부에서 훈련한 정책을 실제 과제의 성공률로 평가하는가.

이 기준 가운데 상태 조회와 실제 과제 효용을 충족하지 못한 시스템은 시뮬레이터로 보기 어렵다. 더 정확히는 조건부 비디오 생성기 또는 잠재 생성기라고 불러야 한다.

출처

#에이전트#로보틱스

Multimodal AI 토픽 관련 글 더 보기

함께 읽기