VISION LAB / VIDEO MOTION CAPTURE
MoCapAnything V2
영상과 기준 골격으로 관절 위치·회전을 추론했습니다. 입력 영상과 3D 골격을 함께 재생하고, 결과를 BVH로 내려받을 수 있습니다.
LOCAL INFERENCE
추론 결과
영상과 관절 데이터를 불러오는 중입니다.
3D 창은 추정 관절을 별도 시점에서 표시합니다. 입력 영상에 맞춘 투영이나 카메라 보정 결과가 아닙니다.
검증 범위와 한계
- 공식 프로젝트가 연결한 공개 재구현과 Setting A 가중치를 실행했습니다. 논문 실험 코드·학습 분할과 다르며, 논문의 6.54° 오차나 20배 속도를 재현한 결과가 아닙니다.
- 이번 실험은 공개 동물 예제에 한정됩니다. 사람·임의 리그·새 촬영 조건에서의 정확도는 검증하지 않았습니다. 가려진 관절과 발 접촉에는 오차가 남습니다.
- 배경 제거가 끝난 입력을 사용해 RMBG-1.4는 실행하지 않았습니다. 흰 배경에서 전경을 분리해 공식 크롭 규칙을 적용했으며, 모델의 예측 단계는 그대로 사용했습니다.
- BVH에는 기준 골격과 예측 관절 회전이 들어갑니다. Blender 등에서 다른 캐릭터에 적용하려면 관절 이름·축·크기를 맞추는 리타기팅이 필요합니다.
- 브라우저에서는 저장된 실제 추론 결과를 탐색합니다. 새 영상의 GPU 추론은 로컬 실행기로 수행합니다. 처리 시간 기록은 모델 로딩·렌더링을 포함한 서비스 지연 시간이 아닙니다.
출처
- MoCapAnything V2 공식 프로젝트
- 논문
- 공식 연결 재구현 · 실행 및 재현 범위
- 공개 V2 가중치 · Setting A
- 입력·기준 자산 · 저자 제공 연구용 샘플
- Truebones Zoo · Truebones Motions Animation Studios
공개 재구현 코드·V2 가중치 MIT, DINOv2 Apache-2.0. 예제는 연구용이며 원본 자산의 이용 조건이 유지됩니다. 동물 기준 자산: Truebones Zoo / Truebones Motions Animation Studios. 원본 입력은 저자 호스트에서 재생하며, 원본 메시·기준 모션은 재배포하지 않습니다. 다운로드는 이 실험에서 새로 예측한 결과이며 원본 자산을 MIT로 재허가하지 않습니다.