마커리스 모션캡처 오클루전 드롭아웃 해결하기: 빠른 회전 동작에서 관절 소실 잡는 법

영상 클립은 여덟 프레임, 길어야 70밀리초 정도이며, 하필 골프 다운스윙의 전환 지점에서 나타났습니다. 214번 프레임에서 트레일 힙은 18도의 내회전을 기록합니다. 215번 프레임에서는 마이너스 51도를 기록합니다. 218번 프레임에 이르면 스윙의 나머지 흐름과 맞아떨어지는 값으로 되돌아옵니다. 그 어떤 골반도 10분의 1초도 안 되는 시간 안에 방향을 뒤집었다가 다시 돌아오지 않지만, 관절 각도 그래프는 그렇다고 말하고 있습니다. 그 렙에서 뽑은 최고 골반 회전 속도는 이제 초당 5천 도를 넘는 값을 보여줍니다. 인간의 골반이 만들어낸 적 없는 숫자입니다. 정확히 그 프레임들 동안 리드 암이 트레일 힙 앞을 가로질렀고, 자세 추정 모델은 애초에 물리적으로 가진 적도 없던 점을 잃어버린 뒤 그 빈틈을 추측으로 채웠습니다. 그 추측은 지금 실제 데이터 옆에서 훈련 기록에 그대로 앉아 있으며, 요약 수치만 확인하는 사람에게는 구분이 불가능합니다.

마커리스 모션캡처에는 잃어버릴 물리적 마커가 없습니다. 대신 프레임마다 영상에서 관절 중심을 추정하는데, 동기화된 각 카메라 뷰에 2D 자세 추정 모델을 돌린 뒤, 그 2D 추정치들을 충분히 일치하는 곳에서 3D 위치로 삼각측량합니다. 오클루전은 몸의 일부, 장비, 또는 다른 사람이 충분히 많은 뷰에서 관절을 가려서 삼각측량이 그 프레임에 대해 더 이상 신뢰할 만한 위치를 계산해내지 못할 때 일어납니다.

그다음에 일어나는 일은 벤더마다 다르며, 그 어느 것도 스스로 문제라고 알려주지 않습니다. 어떤 파이프라인은 그 프레임의 키포인트를 아예 누락시켜, 일부러 찾아보지 않으면 드러나지 않는 빈틈을 남깁니다. 어떤 파이프라인은 마지막으로 알려진 위치를 그대로 유지하는데, 이는 급격한 튐이 아니라 짧은 정지처럼 보입니다. 그리고 어떤 파이프라인은 - 이것이 위험한 경우인데 - 실제 픽셀이 가려져 있는데도 자신 있어 보이는 추정값을 계속 내놓습니다. 기반이 되는 신경망이 수천 개의 전형적인 인체 자세로 학습되었기 때문에, 힙이나 어깨가 있어야 할 위치를 최선을 다해 추측해내는 것입니다. 그 추측은 완전히 틀렸으면서도 기만적으로 높은 신뢰도 값을 함께 달고 나올 수 있습니다. 모델이 보고하는 것은 그 관절이 실제로 얼마나 가려져 있는지가 아니라, 자신의 추측이 학습 데이터에 비추어 얼마나 그럴듯해 보이는지이기 때문입니다.

드롭아웃을 일반적인 측정 노이즈와 구분해주는 결정적 단서는 오차의 모양입니다. 노이즈는 실제 값 주변에서 작고 연속적으로 떨리는 모습을 보입니다. 드롭아웃은 계단 모양입니다 - 추세를 따르다가, 한두 프레임 동안 그 추세에서 크게 벗어난 뒤, 아무 일도 없었다는 듯 다시 돌아옵니다. 그 계단을 미분해 각속도를 구하면 - 대부분의 소프트웨어가 최고 회전 속도를 계산하기 위해 정확히 이렇게 합니다 - 아티팩트는 더 나아지는 게 아니라 더 심해집니다. 큰 위치 도약을 한 프레임의 지속 시간으로 나누면, 생체역학적으로 말이 되는 어떤 값보다도 자릿수 하나가 더 큰 속도 값이 나옵니다.

빠른 회전 동작에서는 두 가지 효과가 겹쳐서 작용하며, 각각이 독립적으로 드롭아웃 가능성을 높입니다.

첫 번째는 자기 가림(self-occlusion)입니다. 몸이 짧은 시간 안에 큰 범위로 회전하면서, 방 안의 다른 어떤 것도 시야를 가리지 않는데도 사지가 카메라 시점에서 몸통과 서로를 가로지릅니다. 골프 다운스윙에서 트레일 암이 가슴을 가로지르며 스윙하는 것, 피칭 딜리버리 동안 스트라이드 다리가 트레일 힙 앞을 가로지르는 것, 원반던지기나 해머던지기에서 회전 도중 던지는 팔이 몸통 뒤로 스윙하는 것 - 이 각각은 매 렙마다 일부 구간에서 관절 하나를 다른 신체 부위 뒤에 두게 만들며, 정확히 딱 맞는 위치에서 딱 맞는 순간에 있지 않은 모든 카메라 각도에서 그렇습니다. Colyer 등(2018, Sports Medicine - Open)은 마커리스 시스템을 향한 비전 기반 동작 분석의 발전을 검토하면서, 빠르고 다면적인 동작 중의 자기 가림을 마커리스 시스템과 마커 기반 실험실을 여전히 갈라놓는 핵심적인 미해결 한계 중 하나로 지목했으며, 걷기나 통제된 스쿼트처럼 대체로 한 평면에 국한된 동작보다 던지기와 회전형 타격 스포츠에서 더 크게 나타난다고 언급합니다.

두 번째 효과는 모션 블러입니다. 각속도가 높으면 사지가 단 한 번의 카메라 노출 시간 안에 여러 픽셀만큼 움직이며, 자세 추정 모델이 관절 위치를 정확히 찾는 데 의존하는 경계선을 흐리게 만들어, 실제 가림이 전혀 없는 프레임에서도 신뢰도를 떨어뜨립니다. 두 효과는 가장 중요한 바로 그 순간 - 임팩트나 릴리스로 들어가는 가속 구간, 즉 회전 속도가 정점을 찍고 자기 가림 가능성도 가장 높은 그 순간 - 에 겹쳐서 작용합니다.

Kanko 등(2021, Journal of Biomechanics)은 마커리스 멀티카메라 딥러닝 시스템을 마커 기반 기준 시스템과 오버그라운드 보행 중에 비교했고, 운동 평면 전체에 걸쳐 일치도가 균일하지 않다는 것을 발견했습니다. 횡단면(transverse plane), 즉 회전형 관절 각도는 시상면의 굴곡-신전 각도보다 의미 있게 더 큰 불일치를 보였으며, 이는 심한 오클루전이 없어도 회전이 비전 기반 시스템에게 더 풀기 어려운 문제라는 것과 일치합니다. 여기서 짚어야 할 단서는 이겁니다. 걷기는 상대적으로 느리고 오클루전이 적은 과제이며 전면 커버리지를 갖춘 실험실 볼륨 안에서 촬영되었으므로, 이 결과는 거의 이상적인 조건 아래서의 회전면 오차에 대한 바닥값을 세운 것이지 천장값이 아닙니다. 더 적은 카메라로 필드에서 던지기나 스윙을 촬영하는 세팅이라면 이보다 더 나쁜 결과를 예상해야 합니다.

Needham 등(2021, Scientific Reports)은 여러 2D 자세 추정 기반 삼각측량 방법을 마커 기반 기준값과 비교해 3D 관절 중심 정확도를 평가했고, 오차가 동작 전체에 고르게 분포하지 않는다는 것을 발견했습니다. 오차는 관절이 부분적으로 가려지거나 빠르게 움직이는 구간에 몰려 있었으며, 그 구간의 오차는 같은 시행의 깨끗하고 가려지지 않은 프레임에서 나타난 오차를 크게 웃돌았습니다. 이들의 세팅은 고정된 멀티카메라 실험실 볼륨과 정해진 테스트 동작 세트를 사용했기 때문에, 절대적인 오차 수치가 실제 피칭이나 스윙을 촬영하는 2대 카메라 필드 세팅으로 그대로 옮겨지지는 않겠지만, 오클루전과 속도가 겹치는 곳에 오차가 집중된다는 패턴 자체는 여기서 설명하는 것과 같은 메커니즘입니다.

실제 피해는 세 곳에서 나타납니다. 관절 회전 각도는 직접적인 타격을 받아, 드롭아웃이 지속되는 동안 물리적으로 불가능한 값을 기록합니다. 최고 각속도는 각도 자체보다 더 심한 타격을 받는데, 위치 시계열을 미분하면 단 한 프레임의 오차도 증폭되기 때문입니다. 초당 500도를 넘어선 적 없는 진짜 힙이 단 하나의 나쁜 프레임 때문에 5,000 이상의 계산된 피크 값을 보일 수 있으며, 훈련 보고서에 실리는 것은 바로 이 부풀려진 숫자이지 그것이 나온 원래 궤적이 아닙니다. 그리고 이벤트 타이밍 - 골프나 던지기 분석에서 운동학적 시퀀싱이나 X-팩터 스트레치를 계산하는 데 쓰이는, 최고 골반 회전 속도가 나타나는 프레임 - 은 진짜 피크가 아니라 아티팩트 프레임으로 옮겨갈 수 있으며, 원시 각도 그래프가 언뜻 보기에 멀쩡해 보이는 상황에서도 이후의 모든 타이밍 기반 지표를 조용히 오염시킵니다.

카메라를 더 늘리면 도움이 되지만, 그 효과는 몇 대인지보다 그 동작이 만들어내는 특정 회전에 대해 카메라가 어디에 놓이는지에 훨씬 더 크게 좌우됩니다. 스쿼트나 트레드밀 보행 시행에는 충분한 2대 카메라 시상면 세팅도, 몸통을 90도 이상 회전시키는 동작에서는 한동안 관절을 두 카메라 모두에 대해 정면이 아니라 옆면으로 보이게 만듭니다. 정확히 골프 스윙이나 원반던지기가 만들어내는 기하학적 구조입니다. 아래 표는 동작 유형별 출발점이지 절대적인 규칙이 아닙니다. 키가 큰 선수나 좁은 촬영 공간, 유난히 폭발적으로 움직이는 선수라면 목록에 나온 최솟값보다 더 많은 커버리지가 여전히 필요할 수 있습니다.

이 모든 숫자 밑에 깔린 실질적인 목표는 하나입니다. 동작 내내 관심 있는 관절을 최소 3대의 카메라에서 가려짐 없이 보이게 유지하는 것이며, 그래야 카메라 한 대가 몇 프레임 동안 관절을 놓쳐도 삼각측량에 여분이 생깁니다. 프레임레이트는 카메라 수와는 별개로 중요합니다 - 프레임레이트를 올리면 각 드롭아웃 구간이 짧아지지만, 카메라 각도를 추가하는 것과 달리 진짜 기하학적 오클루전 자체를 해결해주지는 않습니다.

최고 각속도를 신뢰하기 전에 빠른 회전 동작의 어떤 렙에서든 이것을 실행하고, 카메라 수, 배치, 또는 촬영하는 동작이 바뀔 때마다 다시 실행하세요.

1. 최종 평활화된 그래프뿐 아니라 3D 각도 출력과 나란히 프레임별 키포인트 신뢰도를 확인합니다.
2. 벤더의 0-1 스케일에서 신뢰도가 대략 0.4~0.5 아래로 떨어지는 프레임을 표시하되, 그 모델의 일반적인 깨끗한 프레임 신뢰도에 맞춰 조정합니다.
3. 관절이 물리적으로 낼 수 있는 각속도를 넘어서는 프레임 간 각도 변화를 독립적으로 표시합니다 - 힙과 어깨 회전이라면 대략 초당 1,500~2,000도를 기준으로 잡는 것이 합리적입니다. 최고 수준의 회전 스포츠에서도 이 관절들의 각속도는 수백에서 초당 1,000도를 조금 넘는 수준을 거의 넘지 않기 때문입니다.
4. 두 플래그가 같은 구간에서 겹칠 때만 그 프레임을 진짜 드롭아웃으로 취급합니다 - 신뢰도가 낮은 프레임 하나만으로는 불확실하지만 정직한 실제 추정치일 수 있고, 말이 안 되는 속도 하나만으로도 가끔은 진짜로 매우 빠른 동작일 수 있습니다.
5. 플래그된 시점에서 원본 영상을 다시 훑어보고, 가리는 사지나 물체, 또는 다른 선수가 실제로 그 프레임에 있는지 눈으로 확인합니다.
6. 확인된 구간만 복구하되, 마지막 값을 유지하는 방식이 아니라 3차 스플라인 보간을 사용하고, 120fps 기준 4~5프레임(약 35~40밀리초)을 넘어 이어붙이는 경우에는 그 결과를 측정값이 아니라 추정값으로 표시합니다.
7. 수정 후 최고 각속도를 다시 계산합니다. 15~20%를 넘는 변화가 있다면 원래 수치가 성능이 아니라 드롭아웃 노이즈였다는 확인입니다.

4대 카메라 마커리스 리그로 120fps로 촬영한 한 대학 골퍼의 다운스윙에서, 전환 구간의 정점, 정확히 리드 암이 트레일 힙을 가로지르는 순간에 이 패턴이 그대로 나타났습니다. 원시 골반 회전각, 프레임별 신뢰도, 그리고 그로부터 계산된 각속도가 아래 표에 수정된 값과 함께 나와 있습니다.

F4에서 F6까지의 프레임은 0.19에서 0.33 사이의 신뢰도 값을 보이며, 이는 0.4~0.5 기준선보다 훨씬 낮습니다. 각도 자체도 세 프레임 만에 12도에서 마이너스 61도, 마이너스 6도로 요동치는데, 이는 빠르지만 진짜인 회전이 아니라 물리적으로 앞뒤가 맞지 않는 수열입니다. 영상을 다시 훑어본 결과, 정면에 가장 가까운 카메라에서 리드 전완이 트레일 힙 마커 위치를 정확히 가로지르는 것이 확인되었고, 그 구간 동안 부분적인 시야를 가진 카메라는 단 하나만 남아 신뢰할 만한 삼각측량이 불가능했습니다. 원시 프레임 간 속도는 최대 초당 8,795도까지 치솟았는데, 이는 인간의 골반이 만들어낼 수 있는 어떤 값보다도 자릿수 하나가 더 큽니다. 플래그된 프레임들에 3차 스플라인 보간을 적용한 뒤, 수정된 그래프는 F7으로 이어지면서 초당 약 542도라는 매끄러운 추세로 돌아옵니다. 그리고 오클루전이 걷힌 뒤 촬영된 F7 자신의 원시 값은 보간이 예측한 값과 거의 정확히 일치하는데, 이는 이 복구가 문제를 그저 덮어버린 것이 아니라 진짜 궤적을 재구성했다는 것을 확인해주는 유용한 신호입니다.