‘무엇이 있는가’를 넘어 ‘무엇을 하고 있는가’.
탐지 누락을 추적으로 보완한 관계 인식 실험입니다.
GPU 추론 기록을 재생하는 데모입니다. RTX 4090에서 실행한 결과를 비교합니다. 이 웹페이지에서는 모델을 실행하지 않습니다.
실험 조건 ↗실험 데이터를 불러오고 있습니다.
손에 가려진 병이 다른 클래스로 분류돼 입력에서 사라졌습니다. 모든 클래스의 탐지 결과를 위치·크기로 연결해 동일한 객체를 유지했습니다.
| 파이프라인 | 병 박스 확보율 | holding 정밀도 | holding 재현율 | holding F1 | 처리 속도 |
|---|
관계 평가는 원본 점수 ≥ 0.5 기준입니다. holding 유효 초안 74개(양성 33, 음성 41), 누락된 양성은 FN으로 계산합니다. 속도는 로컬 추론 평균 지연의 역수이며 렌더링·파일 기록은 제외합니다.
YOLO11s 결과에서 ‘병’만 남기던 필터를 제거합니다. 꽃병·컵으로 분류되어도 후보를 유지합니다.
처음 탐지한 병을 IoU·이동 예측·크기로 연결합니다. 현재 프레임에 탐지가 없으면 임의의 박스를 만들지 않습니다.
RelateAnything의 원본 점수는 보존합니다. EMA와 진입·이탈 기준을 적용한 상태는 별도로 기록합니다.
추적으로 누락은 줄었지만, 손이 병 가까이에 머무는 구간의 holding 오탐은 남았습니다. 시간 후처리는 의미 오류를 해결하지 못합니다.
병이 테이블 위에 있어도 0.5 기준을 넘지 못했습니다. 별도의 실제 영상 검증 세트에서 관계별 보정과 임계값을 평가해야 합니다.
한 개의 합성 영상과 초안 라벨로 얻은 개발 결과입니다. 다른 배경·조명·다중 객체·가림이 있는 실제 영상에서 ID 교체와 관계 성능을 다시 측정해야 합니다. 모델 재학습은 수행하지 않았습니다.
프레임별 박스와 점수, 비교 수치, 실행 코드를 함께 제공합니다.