VISION LAB / MUSCLE DEFORMATION
SOMA
대상자별 골격 자세로 피부와 근육의 시간에 따른 변형을 추정합니다. 공식 해부학 레이어 데모를 연결하고, SKIM v2 기반 재현 조건을 정리했습니다.
입력에서 변형까지
개념도 · 추론 결과 아님- 01 / CAPTURE다시점 표면 관측
대상자의 움직임과 피부 표면을 기록합니다.
- 02 / SUBJECT MODEL개인별 모델 + 골격 자세
해부학 템플릿과 대상자별 학습 모델을 사용합니다.
- 03 / DEFORMATION피부·근육 변형
시간에 따른 근육 형태와 피부의 잔여 변위를 예측합니다.
추론 입력은 해당 대상자의 골격 자세입니다. 임의의 단일 RGB 동영상을 올려 내부 근육을 바로 복원하는 모델은 아닙니다.
공식 데모
같은 shot_003의 피부, 근육, 골격과 변형 히트맵을 공식 서버의 영상으로 열어 봅니다. 모두 저자가 미리 계산한 결과이며, 이 Vision Lab의 실행 결과가 아닙니다.
Skin저자 제공 · 피부 표면 ↗Muscle저자 제공 · 근육 레이어 ↗Individual muscles저자 제공 · 개별 근육 ↗Deformation저자 제공 · 변형 히트맵 ↗Skeleton저자 제공 · 골격 레이어 ↗전체 프로젝트레이어 비교와 방법·연구 영상 ↗
영상 링크는 공식 서버에서 직접 열립니다. 레이어를 함께 비교하려면 전체 프로젝트의 Results 항목을 확인하세요. 새 영상을 업로드하는 실시간 서비스는 아닙니다.
SOMA와 SKIM v2
- SOMA는 대상자별로 학습한 변형 모델이고, SKIM v2는 그 학습·평가에 사용하는 데이터입니다. 5명, 약 45분의 다시점 촬영과 피부·근육·골격 레이어를 포함합니다.
- S1–S5의 학습된 모델은 SKIM v2에 맞춰 배포되었습니다. 같은 대상자의 해부학 템플릿·리그·자세 규약을 함께 사용해야 합니다.
- 활용 대상은 개인별 캐릭터의 연조직 애니메이션과 표면 관측에 기반한 근육 형태 변화 연구입니다. 근육 활성도나 힘을 측정하는 결과는 아닙니다.
첫 재현 계획
- 접근 승인 후 SKIM v2와 S1의 RELEASE_V2 체크포인트를 확인하고, 공식 검증 분할의 shot_003부터 실행할 계획입니다. 현재 실행 전 단계입니다.
- 입력 자세와 피부·근육 변형을 함께 보존하고, 관측 마커 오차 및 해부학 레이어의 교차·부피 변화 지표를 확인합니다.
- 실제 프레임 수, 처리 시간, GPU 메모리와 품질 수치는 실행 후 기록합니다. 공개 게시 가능한 결과의 범위도 별도 이용 조건에 따라 확인합니다.
공개 코드와 데이터 접근
- GitHub의 소스 코드는 MIT 라이선스입니다. 데이터·체크포인트 다운로드는 별도의 계정 승인과 이용 조건을 따릅니다.
- 접근 신청에는 기관 이메일, 소속·연구 책임자와 사용 목적이 요구됩니다. 승인 계정이 없어 현재 다운로드와 추론을 진행하지 않았습니다.
- 다운로드 페이지는 비상업 학술 이용과 재배포 제한을 안내합니다. 이 페이지는 저자 영상·메시·가중치를 복제하지 않고 공식 원본에 연결합니다.
검증 범위와 한계
- SOMA 자체 추론·정확도 평가 결과는 아직 없습니다. 공식 예시의 품질을 이 환경에서 재현했다고 간주하지 않습니다.
- 임의의 사람에게 바로 적용할 수 있는 범용 영상 모델이 아닙니다. 대상자별 템플릿과 학습 모델에 의존합니다.
- 피부 아래의 변형은 표면 관측과 해부학 가정으로 추정합니다. 실제 내부 근육을 영상에서 직접 관측한 값이 아닙니다.
- 기술 소개와 공식 링크 공개는 데이터·모델·파생 결과의 재배포 허가를 의미하지 않습니다.
출처
- SOMA 공식 프로젝트 · MPI & TU Dortmund
- 논문 · ECCV 2026
- 공식 코드 · SKIM v2 및 모델 안내
- 공개 코드 MIT 라이선스
- 데이터·모델 계정 및 이용 조건
공개 GitHub 코드: MIT. SKIM v2·SOMA 체크포인트: 기관 계정 승인 및 별도 비상업 학술 이용 조건. 원본·변환 데이터와 가중치의 재배포가 제한됩니다. 공개 결과물의 이용 범위는 별도 확인이 필요합니다.