전기전자공학부 공경보 교수 연구팀이 현실 세계의 다양한 움직임을 더욱 정확하게 4차원(3D+시간축) 장면으로 복원하기 위한 새로운 인공지능(AI) 방법론을 제시했다. 연구팀은 서로 다른 움직임 특성을 효과적으로 표현하고 결합하는 방법을 제안해, 현실 세계의 공간 구조와 움직임을 이해하는 Physical AI* 및 차세대 월드 모델(World Model)**의 기반 기술 발전 가능성을 보였다.

* Physical AI(피지컬 AI): AI가 현실 세계의 공간과 물체, 움직임을 이해하고, 이를 바탕으로 실제 환경에서 스스로 판단하고 행동하는 기술.

** 차세대 월드 모델(World Model): AI가 현실 세계의 공간과 움직임을 학습하여, 주변 환경의 변화와 미래에 일어날 상황을 예측하는 모델.

공경보 교수팀은 한국전자통신연구원(ETRI)과의 공동연구를 통해 동적 가우시안 스플래팅(Dynamic Gaussian Splatting, 동적 장면 복원) 분야에 Mixture-of-Experts(MoE)* 구조를 도입하고, 서로 다른 움직임에 특화된 여러 AI 전문가 모델을 선택적으로 결합하는 새로운 프레임워크를 개발했다. 

* Mixture-of-Experts(MoE): 하나의 모델이 모든 입력을 동일한 방식으로 처리하는 대신, 서로 다른 특성에 전문화된 여러 전문가 모델 가운데 입력에 적합한 전문가를 선택하거나 결합해 결과를 생성하는 딥러닝 구조. 

동적 가우시안 스플래팅은 시간에 따라 변화하는 실제 세계를 3차원 가우시안(Gaussian)으로 표현해 새로운 시점의 영상을 생성하는 대표적인 동적 장면 복원 기술이다. 가우시안(Gaussian)은 중심에서 멀어질수록 점차 옅어지는 분포 형태로, 3차원 장면을 부드러운 입체 단위로 표현하는 데 사용된다.

예를 들어, 여러 대의 카메라로 같은 장면을 서로 다른 각도에서 촬영한다고 해보자. 화면 속에서는 사람이 걷고, 머리카락과 옷이 흔들리며, 주변의 물체도 계속 움직인다. 동적 가우시안 스플래팅은 이처럼 여러 시점에서 촬영한 영상을 바탕으로 시간에 따라 변화하는 장면을 3차원으로 복원하고, 촬영하지 않은 새로운 카메라 시점에서도 자연스럽게 볼 수 있도록 하는 기술이다.

그러나 실제 환경에는 사람의 관절 움직임, 물체의 강체 운동, 천이나 머리카락처럼 비선형적으로 변형되는 움직임 등 다양한 동적 패턴이 동시에 존재한다. 기존 방법들은 하나의 변형 표현만으로 모든 움직임을 모델링하기 때문에 특정 유형의 움직임에서는 우수한 성능을 보이지만, 서로 다른 움직임이 공존하는 복잡한 실제 환경을 일관되게 복원하는 데에는 한계가 있었다.

【동적장면 복원을 위한 MoE 프레임워크】

이에 연구팀은 서로 다른 움직임 특성에 강점을 가진 기존 동적 가우시안 스플래팅 모델들을 각각 전문가 모델(Expert)로 활용하고, 장면의 공간적 특성에 따라 가장 적합한 전문가를 선택적으로 결합하는 새로운 MoE 기반 프레임워크를 제안했다. 연구팀이 핵심적으로 제기한 질문은 “서로 다른 움직임에 특화된 모델들을 하나의 동적 장면 안에서 어떻게 가장 효과적으로 결합할 것인가”였다.

연구팀은 먼저 기존 방법들이 각기 다른 움직임 패턴에 특화돼 있음을 체계적으로 분석했다. 일부 모델은 불규칙하고 급격한 움직임을 표현하는 데 강점을 보였고, 다른 모델은 강체 운동이나 단순 변형을 더욱 효과적으로 복원했다. 이를 바탕으로 연구팀은 각 전문가 모델의 장점을 장면 영역별로 선택적으로 결합해 다양한 움직임을 하나의 통합된 표현 안에서 복원할 수 있음을 확인했다.

특히 연구팀은 두 가지 방식의 전문가 결합 전략을 제시했다. 첫 번째는 여러 변형 전문가를 하나의 동적 가우시안 스플래팅 파이프라인 안에서 공동 학습하는 Mixture of Deformation Experts(MoDE) 방식이고, 두 번째는 전문가 모델을 독립적으로 학습한 뒤 별도의 라우팅 단계(routing stage, 적합한 전문가 모델을 선택·조합하는 과정)를 통해 결합하는 Mixture of Experts for Dynamic Gaussian Splatting(MoE-GS)이다. 

MoDE는 공유된 정준 가우시안 표현(canonical Gaussian representation, 시간 변화의 기준이 되는 3D 가우시안 표현)을 기반으로 여러 전문가를 동시에 최적화해 추가적인 학습 단계 없이 다중 변형 모델링을 수행할 수 있도록 설계됐다. 반면 MoE-GS는 각각의 전문가를 독립적으로 학습한 뒤, 장면의 특성에 따라 전문가를 선택·결합하는 별도 라우팅 과정을 거친다. 연구팀은 두 접근법을 비교·분석함으로써 전문가 간 상호작용 방식과 학습 제약 조건이 동적 장면 복원 성능에 미치는 영향을 규명했다.

또한 연구팀은 장면의 공간적 특성을 고려해 적절한 전문가 모델을 선택하는 볼륨 인식 라우터(Volume-aware Router)를 제안했다. 이를 통해 복잡한 실제 세계의 동적 패턴을 보다 정교하게 표현하고, 다양한 움직임이 혼재된 장면에서도 안정적인 복원이 가능함을 보였다. 다양한 공개 벤치마크 실험에서도 제안한 방법은 최신 기술 수준(State-of-the-Art)의 성능을 달성하며 우수성을 입증했다.

【실제 세계(Real-world)의 다양한 동적 패턴 및 특화된 단일 모델】 

이번 연구는 동적 3차원 Gaussian 표현에서 여러 변형 전문가를 어떻게 결합해야 하는지에 대한 설계 원칙을 제시했다. 특히 현실 세계의 공간 구조와 다양한 움직임을 정교하게 표현하는 기술은 Physical AI와 차세대 월드 모델(World Model)의 발전을 위한 중요한 기반 요소로, 향후 로보틱스, 디지털 트윈, 확장현실(XR), 자율주행 등 다양한 분야에 활용될 가능성이 기대된다.

공경보 교수는 “이번 연구는 서로 다른 움직임 특성에 맞는 전문가 모델을 효과적으로 결합함으로써 복잡한 현실 세계의 동적 장면을 더욱 정교하게 복원할 수 있는 방법론을 제시한 것”이라며 “향후 Physical AI와 차세대 월드 모델의 발전에 기여하고, 로보틱스와 디지털 트윈 등 다양한 분야에 활용되기를 기대한다”고 말했다.

이번 연구는 과학기술정보통신부와 한국연구재단의 지원, 정부의 첨단 GPU 활용 지원사업의 지원을 받아 수행됐다. 부산대와 한국전자통신연구원 공동연구로, 부산대 전기전자공학과 진인환 석사과정생과 문형주 석사과정생이 공동 제1저자로, 공경보 교수가 교신저자로 진행했다. 

해당 논문은 인공지능 및 컴퓨터비전 분야의 세계적 권위 학술지인 『IEEE Transactions on Pattern Analysis and Machine Intelligence』 10월 5일자에 게재됐다.

- 논문 제목: On the Design of Mixture-of-Experts for Dynamic Gaussian Splatting (동적 가우시안 스플래팅을 위한 Mixture-of-Experts 설계에 관한 연구)

- 논문 링크: https://ieeexplore.ieee.org/document/11606163  

* 상단 연구진 사진: 왼쪽부터 문형주 석사과정생, 공경보 교수, 진인환 석사과정생.

[Abstract]

Dynamic scene reconstruction remains challenging due to the heterogeneous and spatially varying nature of real-world motion. Although recent 3D Gaussian Splatting methods have introduced diverse deformation formulations for dynamic novel view synthesis, each method typically relies on a single deformation model within its representation, which limits robustness across diverse dynamic scenarios. In this work, we study a fundamental problem—multi-deformation modeling for dynamic 3D Gaussian representations—under two distinct integration constraints that differ in when and how multiple deformation experts interact during training. From a Mixture-of-Experts (MoE) perspective, we view multi-deformation modeling as the problem of combining multiple specialized deformation models within a unified 3D representation. We first introduce Mixture of Deformation Experts (MoDE), which integrates multiple deformation experts directly into the deformable Gaussian Splatting pipeline through joint optimization. In MoDE, experts operate on a shared canonical Gaussian representation, enabling multi-deformation modeling without introducing additional training stages or modifying the original optimization schedule. In contrast, we further present Mixture of Experts for Dynamic Gaussian Splatting (MoE-GS) under a different integration constraint, where deformation experts are optimized independently and combined through a separate routing stage. As a result, expert interaction occurs over non-canonical Gaussian representations after individual optimization. Together, these two approaches provide alternative strategies for multi-deformation modeling, clarifying how integration constraints shape the design and behavior of deformation experts in dynamic 3D Gaussian representations.

- Authors (Pusan National University) 

· First authors: In-Hwan Jin, Hyeongju Mun (Department of Electrical and Electronic Engineering) 

· Corresponding author: Kyeongbo Kong (Department of Electrical and Electronic Engineering) 

- Title of original paper: On the Design of Mixture-of-Experts for Dynamic Gaussian Splatting

- Journal: IEEE Transactions on Pattern Analysis and Machine Intelligence

- Web link: https://ieeexplore.ieee.org/document/11606163

- Contact e-mail: kbkong@pusan.ac.kr