게임 적응형 카메라(Sports, VR) neural vs cinemachine-like

유니티, 언리얼, 고도, itch.io 용 adaptive camera asset 도 생각중입니다

아직 VR쪽은 최적화가 아직 진행중이지만 그래도 쓸만한 정도입니다. 이정도로 VR멀미가 얼마나 줄어들지는 잘 모르겠네요

sports쪽은 맨처음에 신경망이 처음 가동될때는 cinemachine보다 몇초간 멍청하더니 시간이 지날수록 매우 지능적으로 타겟에 밀착해서 따라가네요 성능이 좋은 것 같습니다

from vr.cording.ai

기존 방식의 카메라와 신경망 기반 카메라를 같은 조건에서 동시에 돌려 보면 어떤 차이가 나는가를 보여주는 것입니다.

이번 데모에서는 두 가지 상황을 비교합니다.

1. Sports

빠르게 움직이는 타깃을 카메라가 따라가는 상황입니다.

급격한 방향 전환, 순간적인 속도 변화, 그리고 프레임 드롭 같은 방해 조건을 일부러 넣었습니다.

2. VR

사용자의 머리 움직임처럼 반복적인 흔들림이 들어오는 상황입니다.

이때 화면의 수평선이 얼마나 안정적으로 유지되는지를 봅니다.

비교 대상은 두 가지입니다.

- Cinemachine-like

기존 게임 카메라에서 흔히 볼 수 있는 damping 기반 추적 방식입니다. 잘 설계된 고전적 방식이라고 보면 됩니다.

- Neural

입력되는 움직임 패턴을 실시간으로 보면서 점점 적응해 가는 방식입니다.

이 데모에서 중요한 점은, Neural 방식이 처음부터 무조건 완벽하다는 것이 아닙니다.

오히려 시간이 지나면서 점점 더 잘 맞춰 간다는 점이 핵심입니다.

Sports에서는 이것이 더 분명합니다.

타깃이 빠르게 움직여도 신경망 쪽이 점점 더 타깃에 밀착하고, overshoot가 줄어듭니다.

즉 카메라가 뒤늦게 흔들리며 따라가는 것이 아니라, 다음 움직임을 더 잘 예상하면서 붙는 느낌에 가까워집니다.

VR에서는 “얼마나 흔들림이 남았는가”가 핵심입니다.

흰 선은 원래 들어온 흔들림이고, 빨간 선과 파란 선은 각각 보정 이후에도 남아 있는 흔들림입니다.

좋은 결과는 선이 더 작고 더 평평한 것입니다.

이번 리팩터링 이후에는 Neural 쪽이 시간이 지나며 남는 흔들림을 점점 더 줄이는 방향으로 보입니다.

이게 왜 중요할까요?

게임에서는:

- 빠른 움직임에서도 타깃을 더 또렷하게 볼 수 있고

- 카메라가 휙휙 흔들리는 느낌이 줄고

- 더 공격적인 속도와 연출을 써도 화면이 덜 지저분해질 수 있습니다

VR에서는:

- 수평선이 더 안정적으로 유지되면

- 움직이는 중에도 화면을 읽기 쉬워지고

- 멀미를 줄일 가능성이 생깁니다

물론 여기서 조심해야 할 점도 있습니다.

이 데모만으로 “실제 VR 멀미를 크게 줄인다”고 단정할 수는 없습니다.

지금은 합성된 bobble 신호 기반 데모이고, 실제 VR 멀미는 지연시간, 광학 흐름, 가속도 감각, 장면 구성, 사용자 민감도 등 여러 요소가 함께 작용하기 때문입니다.

그래도 분명한 것은 있습니다.

적어도 이 데모에서는 Neural 카메라가 단순 smoothing이 아니라, 시간이 지나며 패턴에 적응하고 더 나은 제어를 만들어 내는 모습을 보여줍니다.

즉 nmvr는 단순한 카메라 보간기가 아니라,

- 스포츠 게임에서는 더 영리하게 타깃을 따라가고

- VR에서는 반복 흔들림을 더 잘 상쇄하는

공용 적응형 카메라 엔진으로 발전시킬 수 있는 가능성을 보여주는 첫 단계라고 볼 수 있습니다.