VISION LAB / VIDEO MOTION CAPTURE

MoCapAnything V2

영상과 기준 골격으로 관절 위치·회전을 추론했습니다. 입력 영상과 3D 골격을 함께 재생하고, 결과를 BVH로 내려받을 수 있습니다.

실행 완료

LOCAL INFERENCE

추론 결과

영상과 관절 데이터를 불러오는 중입니다.

검증 범위와 한계

  • 공식 프로젝트가 연결한 공개 재구현과 Setting A 가중치를 실행했습니다. 논문 실험 코드·학습 분할과 다르며, 논문의 6.54° 오차나 20배 속도를 재현한 결과가 아닙니다.
  • 이번 실험은 공개 동물 예제에 한정됩니다. 사람·임의 리그·새 촬영 조건에서의 정확도는 검증하지 않았습니다. 가려진 관절과 발 접촉에는 오차가 남습니다.
  • 배경 제거가 끝난 입력을 사용해 RMBG-1.4는 실행하지 않았습니다. 흰 배경에서 전경을 분리해 공식 크롭 규칙을 적용했으며, 모델의 예측 단계는 그대로 사용했습니다.
  • BVH에는 기준 골격과 예측 관절 회전이 들어갑니다. Blender 등에서 다른 캐릭터에 적용하려면 관절 이름·축·크기를 맞추는 리타기팅이 필요합니다.
  • 브라우저에서는 저장된 실제 추론 결과를 탐색합니다. 새 영상의 GPU 추론은 로컬 실행기로 수행합니다. 처리 시간 기록은 모델 로딩·렌더링을 포함한 서비스 지연 시간이 아닙니다.

출처

공개 재구현 코드·V2 가중치 MIT, DINOv2 Apache-2.0. 예제는 연구용이며 원본 자산의 이용 조건이 유지됩니다. 동물 기준 자산: Truebones Zoo / Truebones Motions Animation Studios. 원본 입력은 저자 호스트에서 재생하며, 원본 메시·기준 모션은 재배포하지 않습니다. 다운로드는 이 실험에서 새로 예측한 결과이며 원본 자산을 MIT로 재허가하지 않습니다.