영상 생성 AI는 더 이상 사용자가 입력한 텍스트 명령만으로 영상을 만드는 수준에 머물러 있지 않다. 이제 사용자의 키보드 조작에 실시간으로 반응하는 '인터랙티브 월드 모델'로 한 단계 진화하고 있다. 마치 게임을 하듯 키보드를 조작하면 AI가 캐릭터의 움직임과 카메라의 관점 변화를 이해하고 그에 맞춰 영상을 생성해내는 방식이다.
텐센트와 싱가포르 국립대학교(NUS), 홍콩공과대학교(PolyU)의 공동 연구진이 이달 1일(현지시간) 키보드 입력을 캐릭터와 카메라의 실제 움직임으로 변환하는 액션 제어형 월드 모델인 'H3-월드(H3-World)'를 온라인 아카이브에 공개했다.
이 연구의 주목할 만한 점은 별도의 복잡한 동작 제어 네트워크를 추가로 만들지 않았다는 것이다. 대신 대규모 영상 생성 모델 내부에 이미 학습되어 있는 언어 이해 능력과 움직임 감지 능력을 직접 활용했다.
H3-월드는 미니맥스의 330억 개 매개변수를 가진 영상 생성 모델 'H3'를 기반으로 개발되었다. 사용자가 게임처럼 WASD 키를 눌러 캐릭터의 전진, 후진, 좌측, 우측 이동을 명령하면, 모델은 이를 짧은 영어 명령으로 변환해 영상 생성 과정에 적용한다. IJKL 키로는 카메라의 상하 이동과 좌우 회전을 조절할 수 있으며, F 키로 빠른 카메라 움직임도 지정 가능하다.
기존의 월드 모델들은 사용자의 입력에 따라 캐릭터나 카메라를 움직이게 하기 위해 별도의 액션 모듈이나 제어 네트워크를 추가하는 것이 일반적이었다. 액션 정보를 영상 모델의 특징에 직접 반영하거나 별도의 액션 편향을 적용하는 식으로 추가 학습 구조가 필요했던 것이다.
H3-월드 연구진은 다른 방향으로 접근했다. H3 모델이 이미 자연어 명령만으로도 캐릭터의 행동이나 카메라 움직임을 어느 정도 이해할 수 있다는 점에 착목했고, 키보드 입력을 모델이 인식할 수 있는 언어로 변환하는 방식으로 기존의 기능을 활용했다. 새로운 동작 제어 능력을 처음부터 학습시키는 대신, 영상 생성 모델 내부에 이미 형성된 의미 표현을 대화형 제어의 수단으로 전환한 것이다.
이 방식의 핵심은 시간 단위의 세밀한 제어에 있다. H3-월드는 각 순간의 키보드 입력을 미래 영상의 각 잠재 프레임(latent frame)에 대응하는 짧은 영어 명령으로 변환한다. 그 다음 '방향성 주의 마스크(Directional Attention Mask)'를 적용하여 특정 명령이 해당 시간 구간의 영상 잠재 표현에 집중하도록 한다. 이를 통해 전체 영상에 하나의 동작을 적용하는 것이 아니라, 시간에 따라 변하는 입력을 각 구간마다 정확하게 대응시킬 수 있게 된다.
학습에 필요한 규모도 상대적으로 작다. 연구진은 'ABot-World-Explorer-500h' 데이터세트에서 약 8000개의 게임플레이 영상을 활용했으며, 미니맥스-H3의 전체 매개변수 중 0.199%에 해당하는 6560만 개의 매개변수만 LoRA 방식으로 학습했다. 별도의 대규모 액션 제어 모델을 만들지 않고도 기존 영상 모델을 소규모 추가 학습만으로 인터랙티브 월드 모델로 발전시킨 셈이다.
연구진에 따르면 H3-월드는 학습 과정에서 직접 본 적 없는 움직임의 조합이나 새로운 시각적 환경에서도 캐릭터와 카메라를 제어할 수 있다고 한다. 동일한 시작 프레임에서도 서로 다른 키 입력에 따라 다양한 움직임을 생성할 수 있으며, 여러 행동을 시간 순서대로 이어서 조합하는 장기적인 제어도 가능하다는 것이다.
기본 설정에서는 하나의 시작 프레임과 장면 설명, 그리고 키보드 입력을 받아 832×480 해상도의 약 5.2초 분량 영상을 만들어낸다. 허깅페이스에 공개된 모델은 32등급(rank-32) LoRA 형태이며, 아파치 2.0 라이선스로 배포되고 있다. 다만 LoRA 가중치만으로는 작동하지 않으며, 약 135기가바이트(GB) 규모의 미니맥스-H3 기반 모델과 H3-월드의 코드, 수정된 영상 생성 파이프라인이 함께 필요하다.