월드 모델이 뭐야
영상 생성 AI에게 “숲속을 달리는 여우를 보여줘”라고 요청하면 몇 초짜리 클립이 생성되지. 그런데 영상이 끝난 뒤에도 숲길이 계속 이어지고, 카메라를 돌려 여우의 옆모습을 보거나 “잠깐 멈춰서 주변을 둘러봐”라고 지시할 수 있다면 어떨까?
이런 모델을 월드 모델이라고 불러. 기존 영상 생성 AI가 한 편의 클립을 완성한다면, 월드 모델은 앞서 등장한 물체와 공간을 기억하고, 이를 바탕으로 다음 장면을 이어서 만들어. 그리고 영상 속 공간을 직접 움직이고 바꿀 수가 있지.
최근 공개된 텐센트의 Hy-Nomas와 구글 딥마인드의 Genie 4가 대표적이야.
텐센트의 Hy-Nomas
✦ Hy-Nomas, 이렇게 공개됐어
텐센트 공개 일정과 기본 사양
| 항목 | 내용 |
|---|---|
| 공개 | 10월 21일 코드·모델 가중치·온라인 데모, 10월 27일 기술 논문 |
| 모델 | 약 80억 파라미터 확산 모델, 구간 단위 생성 + KV 캐시 |
| 기본 설정 | 720×1280 해상도, 초당 24프레임 |
먼저 공개된 건 텐센트의 Hy-Nomas야. 10월 21일, 코드와 모델 가중치, 온라인 데모가 공개됐고 27일에는 기술 논문이 올라왔어.
약 80억 파라미터의 확산 모델이 영상을 여러 구간으로 나눠 만들고, 이전 구간의 정보는 KV 캐시에 저장해 다음 구간을 생성할 때 참고한대. 사용자는 텍스트로 장면이나 행동을 바꾸고 카메라 이동 경로도 지정할 수 있어.
기본 추론 설정은 720×1280 해상도와 초당 24프레임이야.
공식 데모에는 돌기둥을 오르는 판다, 궁전 벽을 타고 오르는 눈표범, 달 기지와 고대 유적 같은 장면이 등장해. 처음 만든 장소에서 다른 행동을 지시하거나 카메라를 이동하면, 이미 만들어진 요소들을 바탕으로 다음 구간을 이어서 생성하지.
실행환경만 받쳐준다면, 사용자는 공식 데모 기준 최대 60초까지 장면을 이어 생성하면서 가상세계를 탐험할 수 있어.
✦ Hy-Nomas, 개인 PC에서 돌리려면
공개됐다고 바로 편하게 쓸 수 있는 건 아니야
다만, 공개됐다는 말이 곧바로 개인 PC에서 편하게 쓸 수 있다는 뜻은 아니야. 텐센트가 안내하는 단일 GPU 저메모리 설정의 기준은 VRAM 24GB인 RTX 4090이야.
AI 제작 스튜디오 OMNI Labs는 16GB RTX 5060 Ti에서도 실행했지만, Linux 환경을 WSL로 구성하고 네 가지 수정 작업을 거쳐야 했어.
텍스트 인코더를 CPU로 옮겼고, 시스템 메모리 52GB와 스왑 32GB도 사용했지. 그 결과 5초 구간 하나를 만드는 데 약 6분, 10초 분량을 이어 만드는 데 약 13분이 걸렸어.
1280×704 해상도, 24FPS의 무음 영상이었는데도 이 정도였으니, 우리가 원하는 고화질의 가상세계를 체험하는 건 아직 개인PC에서는 무리가 있어.
✦ 여우 숲 테스트, 된 것과 안 된 것
연결 테스트와 카메라 테스트 결과
속도만이 아니라 장면이 얼마나 잘 이어지는지도 테스트가 필요하겠지? OMNI Labs는 반딧불이가 빛나는 숲에서 여우가 걷는 장면을 5초씩 두 구간으로 만들었어.
두 번째 구간에서 여우에게 멈춰 주변을 둘러보라고 하자 동작이 바뀌었고, 여우와 길, 나무도 자연스럽게 이어졌지. 카메라 시점에 관한 테스트에서도 자연스러운 시점 변환에 성공했어.
그런데 길가에 빛나는 파란 꽃이 새로 피어나게 해달라는 명령은 반영되지 않았고, 밤의 반딧불이 숲도 평범한 낮 풍경으로 바뀌어버렸지. 아직은 프롬프트를 충분히 반영해주지 못하는 거야.
Hy-Nomas 논문에는 모델을 비교한 결과도 있어. 280개 사례를 텍스트 지시, 카메라 이동, 두 입력의 교차 사용, 공간 기억이라는 네 영역으로 나누고, 훈련된 평가자들이 결과를 비교했지.
예를 들어 집게가 사과를 집어 접시에 옮기거나, 주걱으로 딸기를 자른 뒤 유리 그릇에 넣는 장면을 만들게 했어.
논문에 실린 비교 영상에서 Hy-Nomas는 사과를 들어 접시에 옮기는 흐름과 딸기를 그릇에 담는 과정을 제대로 표현했지만, 일부 경쟁 모델은 사과 색이나 집게 모양을 바꾸거나 주걱을 빠뜨렸어.
✦ Hy-Nomas 공간 기억, Genie 3와 비교
60개 공통 시나리오, 텐센트 자체 벤치마크
그렇다고 모든 항목에서 Hy-Nomas가 우수했던 건 아니야. 이미 지나간 장소로 돌아왔을 때 물체와 배치가 그대로 남아 있는지 보는 '공간 기억 평가'에서는 구글의 Genie 3가 더 나았어.
60개 공통 시나리오에서 Hy-Nomas의 승률은 13.3%, 무승부는 56.7%, 패배율은 30%였지.
이건 텐센트 연구진이 만든 자체 벤치마크의 결과고, 비교 대상도 Genie 4가 아니라 이전 모델인 Genie 3이라는 점도 감안해야 해. 즉 Hy-Nomas가 훌륭하긴 하지만 비교모델 대비 확연히 뛰어나다고 보기는 힘들어.
✦ Hy-Nomas 라이선스, 디코더는 따로 봐야
상업 이용 전에 확인해야 할 구분
라이선스 문제도 있어. 특히 이 모델은 디코더 라이선스를 따로 봐야 해. Hy-Nomas의 코드와 핵심 DiT 가중치는 Apache 2.0이지만, 영상을 프레임으로 복원하는 디코더는 NVIDIA PixelUMM을 미세조정한 모델이야.
PixelUMM 체크포인트에는 비상업적 연구·평가용 라이선스가 붙어 있어. 따라서 Hy-Nomas를 어찌어찌 개인PC에서 돌려서 결과물을 만들어낸다 하더라도, 상업용으로 활용하는 데에는 제약이 있지.
구글의 Genie 4
✦ Genie 4, 뭐가 달라?
실시간 조작과 오디오, 그리고 접근
| 항목 | 내용 |
|---|---|
| 강점 | 실시간 조작과 오디오 생성, 물리 현상 시뮬레이션, 자연어로 날씨·인물·물체 변경 |
| 접근 | 신뢰 테스터 연구 프리뷰, 가중치 다운로드 아님 |
그렇다면 구글의 Genie 4는 뭐가 다를까? 한국시간 10월 28일 공개된 이 모델은 실시간 조작과 오디오 생성이 강점이래. 특히 충돌이나 공기역학 같은 물리 현상 시뮬레이션을 표방한다고 하네.
키보드로 이동하고 카메라를 움직이는 동안 자연어로 날씨를 바꾸거나 새로운 인물과 물체를 등장시킬 수 있어. 숲의 바람과 파도 소리 같은 주변음, 배경 음악, 등장인물의 대화도 함께 생성하고.
Genie 4에는 여러 Gemini 모델이 연결돼 있어. 우선 Gemini Omni가 시뮬레이션의 외형과 움직임을 현실에 가깝게 잡아 줘.
그리고 Gemini 3.8 Flash는 장면을 계속 관찰하면서 사용자의 목표를 여러 단계로 나누고, 각 단계가 제대로 진행됐는지 확인해. 구글이 공개한 예시에는 UR5 로봇 팔이 피펫(실험용 도구)으로 액체를 실험판에 옮기는 장면이 있어.
Gemini가 다음 동작을 계획해 텍스트 지시로 전달하면 Genie 4가 그 과정을 실시간으로 그려내는 방식으로 구현된 거야.
또 다른 로봇 시뮬레이션에서는 Gemini 4 Argon이 작업 순서를 나누고 Genie 4가 이를 장면으로 구현하기도 했지.
하지만 아쉽게도 Genie 4는 누구나 사용해볼 수 있는 모델은 아니야.
신뢰할 수 있는 테스터를 대상으로 연구 프리뷰를 한 거고, Google AI Ultra 구독자의 Project Genie와 Gemini API·AI Studio 조기 접근 파트너에게 확대하는 일정만 예고된 상태야.
Hy-Nomas처럼 모델 가중치를 내려받아 로컬 PC에서 실행해볼 수는 없다는 거지. 발표 당시에도 공개 범위가 상당히 좁았고, 앞으로도 Gemini 유료요금제 사용자 정도까지만 서비스를 제공할 가능성이 높아.
Genie 4도 한계는 명확해. 아직 장면 속 물체의 모양과 위치가 시간이 지나며 달라지는 현상이 있고, 실제 장소를 재현하거나 정확한 텍스트를 만드는 데 어려움이 있어.
언론보도에서는 한 번의 연속 상호작용이 2분 정도인 걸로 소개했는데, 그만큼 생성길이에도 아직은 제약이 있는 거야. 또한 구글측에서도 실시간 오디오의 정확도는 아직 개선이 필요한 연구과제라고 밝혔고.
마치며
만약 월드모델을 당장 사용해보고 싶고 보유한 그래픽카드의 사양이 좋다면 Hy-Nomas를 다운로드 받아서 실험해보자. 또한 이제 월드모델들이 점차 발전하고 있으니, 훨씬 더 가볍게 돌아가는 월드모델도 점차 출시되지 않을까 기대되네.
이번 글은 여기서 마칠게. 또 만나자.
관련 글
- AI에게 투표를 시켰더니, 요놈들이 서로의 의견을 따라하기 시작했다! (AI의 군중심리)
- 너무 느린 로컬 LLM... 실행 프로그램만 Magnitude로 바꿔도 2배 빨라진다는데! 사실일까?
- 무료 AI비서보다 유료 AI비서가 일을 더 잘 할까? 비교실험 결과를 살펴보자
🌐 영어 버전: World Models Arrive: Tencent Hy-Nomas and Google Genie 4
💬 댓글
아직 댓글이 없어. 첫 댓글을 남겨줄래?
댓글 쓰기