다중 센서 시간 동기화 오차가 분석 결과를 왜곡한다면: 찾아내고 바로잡는 방법

어느 선수가 플레이트에 착지하고, IMU는 허리춤에 부착되어 있고, 폰은 옆에서 60fps로 촬영 중입니다. 포스플레이트는 트라이얼 시작 1.240초 시점에 지면 접촉이 끝나고 이륙이 시작됐다고 말합니다. 자체 온보드 시계로 작동하는 IMU는 같은 이륙 시점을 1.223초로 표시합니다. 앱이 로깅을 시작하기 한 박자 전에 손으로 시작한 비디오는 세는 사람에 따라 74번 프레임 근처, 혹은 75번 프레임 근처 - 대략 1.23초에서 1.26초 사이 - 로 나옵니다. 세 시스템 중 어느 것도 고장 나지 않았습니다. 각각은 자기 시계 기준으로 자기 이벤트를 정확히 보고하고 있을 뿐입니다. 문제는 세 시계가 언제를 0으로 삼을지 합의한 적이 없다는 것입니다.

이 간격은 위상 기반 지표에 부딪히기 전까지는 사소해 보입니다. 반응강도지수(RSI)는 접촉이 끝나고 비행이 시작되는 정확한 순간에 좌우됩니다. 제동-추진 비율은 무게중심이 하강을 멈추는 정확한 순간에 좌우됩니다. 근수축 결합 시간은 힘 발현 시작점을 그로부터 아주 짧은 시간 뒤에 일어나는 운동학적 이벤트와 맞추는 데 좌우됩니다. 이런 경계선 중 하나라도 15~20밀리초 어긋나면, 위상 구간이 옮겨가면서 어느 다리가 비대칭으로 보이는지, 어느 세션이 도약처럼 보이고 어느 세션이 퇴보처럼 보이는지가 뒤바뀔 만큼 움직입니다. 선수가 다르게 움직여서가 아니라 자(尺)가 움직였기 때문입니다.

위상 기반 출력값이 작은 타이밍 오차에 실제로 얼마나 민감한지 알아둘 필요가 있습니다. '20밀리초 정도는 사실상 아무것도 아니다'라는 직관은 이런 종류의 지표에서는 정확히 반대이기 때문입니다. Kristianslund, Krosshaug, van den Bogert(2012, Journal of Biomechanics)는 포스플레이트와 모션 캡처 장비가 동기화된 상태로 기록된 사이드 커팅 트라이얼을 분석하면서, 운동학 데이터에 대해 힘 데이터를 몇 프레임만큼 의도적으로 어긋나게 옮긴 뒤 ACL 부상 위험 선별에 널리 쓰이는 지표인 무릎 외반 모멘트 최고값에 무슨 일이 일어나는지 살펴봤습니다. 현실적인 필터 컷오프 설정과 결합했을 때, 그 어긋남만으로도 계산된 최고 모멘트 값이 일부 트라이얼에서 약 40% 이상 움직였습니다. 선수의 실제 움직임은 전혀 달라지지 않았는데도 말입니다. 짚어야 할 한계는, 이것이 이미 동기화가 잘 되어 있던 단일 연구실의 데이터셋으로 작은 타이밍 오차가 일으키는 효과를 시뮬레이션한 것이지, 원래부터 동기화되지 않은 다중 기기 조합을 측정한 것이 아니라는 점입니다. 즉 이 연구는 계산 방식 자체의 민감도를 보여줄 뿐, 특정 포스플레이트/IMU/비디오 조합에 그대로 옮겨 적용할 수 있는 수치를 제공하지는 않습니다.

더 넓은 그림은 van der Kruk와 Reijne(2018, European Journal of Sport Science)에서 나옵니다. 스포츠 응용을 위한 모션 캡처 정확도를 검토한 이 리뷰 논문은 동기화 방식이 원시 센서 정확도만큼이나 중요하다는 것을 발견했습니다. 공유 하드웨어 트리거로 묶인 시스템은 1~2밀리초 이내의 정렬을 보고했습니다. 반면 각 기기가 자체 내부 시계를 사용하고 사후에 타임스탬프를 맞추는 방식 - 독립형 포스플레이트, 웨어러블 IMU, 별도 앱을 실행하는 폰 카메라를 조합할 때의 기본 구성 - 에서는 흔히 10~50밀리초 범위의 오프셋이 보고되었고, 일부 구성에서는 세션이 진행될수록 더 벌어지기도 했습니다. 짚어야 할 한계는, 이것이 품질과 하드웨어 세대가 제각각인 여러 연구를 종합한 리뷰이지 단일 시스템의 드리프트를 통제된 조건에서 측정한 것이 아니라는 점입니다. 그래서 이 범위는 보고된 내용을 대략 요약한 것이지 특정 장비 구성에 대한 보장이 아닙니다. 두 연구를 합쳐보면 그림은 분명해집니다. 젠락 없이 세 센서를 조합한 구성이 일상적으로 만들어내는 정도의 오프셋만으로도, 그 자체만으로 위상에 민감한 지표를 실제 성능 변화처럼 보일 만큼 흔들기에 충분합니다.

'센서들이 안 맞는다'는 하나의 문제가 아니며, 하나로 취급하면 열에 아홉은 엉뚱한 해결책으로 갑니다. 서로 다른 세 가지 메커니즘이 있고, 각각 데이터에 고유한 흔적을 남깁니다.

가장 흔한 원인은 동시에 가장 시시한 원인이기도 합니다. 누군가 비디오 앱에서 '녹화'를 누르고, 한 박자 기다린 뒤 포스플레이트 소프트웨어에서 '시작'을 누르고, 그 후에 IMU를 녹화 모드로 클립합니다. 각 시스템의 내부 시계는 각자의 0에서 카운트를 시작하는데, 그 0은 1~2초 간격을 두고 이루어진 세 번의 서로 다른 사람 버튼 누르기로 정해집니다. 그 트라이얼 안의 모든 이벤트는 같은 고정 오프셋을 물려받습니다. 간격이 처음 한 번 정해진 뒤로는 이후 과정에서 아무것도 그걸 바로잡지 않기 때문입니다.

이 흔적은 평평하고 반복되는 오프셋입니다. 같은 물리적 이벤트 - 포스플레이트에 뚜렷한 스파이크를 남기고, IMU의 가속도계 축에도 뚜렷한 스파이크를 남기며, 비디오에서도 눈에 띄는 프레임을 남기는 뒤꿈치 접촉이 가장 다루기 쉽습니다 - 사이의 간격을 세션 첫 트라이얼과 열 번째 트라이얼에서 측정해 보세요. 두 시점의 간격이 거의 동일하다면, 시스템들이 서로 다른 순간에 시작되어 다시 정렬된 적이 없다는 뜻입니다. 드리프트가 아니라, 한 번의 보정으로 세션 전체를 바로잡을 수 있는 고정된 양만큼 어긋나 있는 것입니다.

더 미묘한 실패는 세션이 길어지거나 반복 테스트일이 이어질 때만 드러납니다. 두 기기가 처음에는 그런대로 정렬되어 있다가, 시간이 지나면서 간격이 점점 벌어집니다. 이것이 시계 드리프트입니다. 모든 기기의 내부 타이밍 크리스털은 공칭 속도와 아주 약간 다른 실제 주파수로 작동하며, 폰이나 소형 IMU에 들어가는 저가형 오실레이터는 수십 ppm(백만분율)만큼 어긋날 수 있습니다. 20ppm 정도의 드리프트만으로도 분당 약 1.2밀리초에 해당합니다. 5분짜리 워밍업에서는 무시해도 될 수준이지만, 수십 번의 점프가 이어지는 15~20분짜리 세션 전체로 보면 15~20밀리초 이상까지 누적될 수 있습니다. 앞서 살펴본 연구들이 위상 지표를 흔들기에 충분하다고 보여준 바로 그 범위입니다.

이 실패의 흔적은 벌어지는 간격입니다. 세션 초반에 측정한 동일 이벤트 오프셋이 세션 후반에 측정한 오프셋보다 작다면, 트리거 불일치가 아니라 드리프트가 원인입니다. 해결책도 다릅니다. 트리거 불일치는 파일 전체에 한 번의 보정만 적용하면 되지만, 드리프트는 몇 분마다 재동기화 이벤트를 삽입하거나 경과 시간에 비례해 커지는 선형 보정을 적용해야 합니다.

비디오에는 다른 두 시스템에 없는 고유한 실패 모드가 하나 더 있습니다. 가장 가까운 프레임 단위로만 이벤트를 보고할 수 있다는 점입니다. 30fps 카메라는 33.3밀리초마다 세상을 한 장씩 담고, 60fps 카메라는 16.7밀리초마다 담습니다. 만약 이륙이 어느 프레임이 찍히고 나서 실제로 8밀리초 뒤에 일어났다면, 진짜 순간을 잡아낼 프레임이 그 사이에 없으므로 비디오 기록은 그래도 그 프레임에서 이륙이 일어난 것으로 표시합니다. 완벽하게 동기화된 비디오 피드조차 이 내재적인 반올림 오차를 그대로 안고 있으며, 저장공간이나 배터리를 아끼려고 낮은 프레임레이트를 선택할수록 이 오차는 더 커집니다.

여기서의 흔적은 매끄럽거나 점점 커지는 것이 아니라 계단식으로 튀는 오프셋입니다. 비디오에서 도출한 타이밍과 센서에서 도출한 타이밍 사이의 간격이 임의의 값이 아니라 프레임 지속 시간의 배수 - 16.7ms, 33.3ms, 50ms 근처 - 에 몰려 있습니다. 이 패턴이 뜻하는 바는 시스템을 재동기화해야 한다는 게 아닙니다. 이미 잘 정렬되어 있을 수 있기 때문입니다. 대신 비디오만으로는 한 프레임보다 세밀한 이벤트를 구별할 수 없다는 사실을 받아들이고, 프레임레이트를 올리거나(위상이 중요한 작업이라면 120fps 이상) 포스플레이트나 IMU를 타이밍 기준으로 삼고 비디오는 그 순간에 무슨 일이 있었는지 정성적으로 확인하는 용도로만 쓰는 편이 맞습니다.

두 개 이상의 독립적으로 시작된 시스템에서 뽑은 위상 기반 지표를 신뢰하기 전에 이 절차를 실행하세요.

1. 본 트라이얼을 시작하기 전에 물리적 동기화 이벤트를 기록하세요. 포스플레이트 바로 위에서의 강한 손뼉이나 플레이트에 대한 날카로운 뒤꿈치 접촉은 플레이트에서, 몸 어디에 착용한 IMU에서, 그리고 비디오의 명확한 한 프레임으로 스파이크를 남깁니다.
2. 그 동기화 이벤트 시점에서 시스템 간 오프셋을 측정하세요. 각 내보내기 파일에서 스파이크의 원시 타임스탬프를 뽑아 밀리초 단위 간격을 기록하세요. 드리프트가 없다는 전제 하에 그 세션 전체에 적용할 보정값입니다.
3. 세션이 끝날 때 동기화 이벤트를 한 번 더 반복하세요. 세션 종료 시점의 오프셋이 시작 시점과 몇 밀리초 이내로 일치한다면 단일 고정 보정을 적용해도 안전합니다. 대략 5~10밀리초 이상 차이가 난다면 드리프트가 발생한 것이며, 고정 보정 대신 시간에 비례하는 보정이 필요합니다.
4. 비디오의 세밀한 타이밍을 신뢰하기 전에 프레임 지속 시간표와 대조하세요. 보정 후 남은 잔차가 프레임 간격(60fps에서 16.7ms, 30fps에서 33.3ms)의 배수에 가깝다면, 그것은 진짜 정렬 오차가 아니라 반올림일 가능성이 큽니다. 또 한 번의 보정으로 그걸 쫓아가지 마세요.
5. 세션 도중 장비가 바뀔 때마다 동기화 점검을 다시 실행하세요. 폰을 바꾸거나, 플레이트 소프트웨어를 재시작하거나, IMU를 재페어링하면 이전에 측정한 오프셋은 무효가 됩니다.

가장 깔끔한 해결책은 애초에 오프셋을 보정할 필요를 없애는 것입니다. 하드웨어가 지원한다면 공유 트리거 - TTL 펄스나 접점 신호로 포스플레이트, IMU 로거, 비디오 캡처를 같은 순간에 동시에 시작시키는 방식 - 를 사용하세요. van der Kruk와 Reijne의 리뷰는 이런 방식의 구성이 독립적으로 타임스탬프를 찍는 시스템보다 한 자릿수 더 정밀한, 1~2밀리초 이내의 정렬을 달성한다고 밝혔습니다. 트리거 방식을 쓸 수 없다면, 매 세션 시작과 끝에 수동 동기화 이벤트를 남기는 것을 가끔 하는 점검이 아니라 고정된 습관으로 삼으세요. 로컬에서 타임스탬프를 찍고 나중에 맞추는 기기보다는 공유되거나 네트워크로 동기화된 시계에 맞춰 로깅하는 기기와 앱을 선호하세요. 그리고 위상이 중요한 작업이라면 비디오 캡처를 30fps나 60fps 대신 120fps 이상으로 올리세요. 프레임 반올림 오차는 프레임레이트에 정비례해서 줄어듭니다.

카운터무브먼트 점프를 포스플레이트, 허리에 부착한 IMU, 60fps 폰 카메라로 동시에 기록하고, 세션 시작 시점에 세 시스템 모두에서 뒤꿈치 접촉 동기화 이벤트를 확보했습니다.

동기화 이벤트를 보면 IMU가 세션 내내 플레이트보다 17밀리초 뒤처져 있으며, 세션 종료 시점 점검에서도 같은 17ms 간격이 나타나므로 드리프트가 아니라 트리거 불일치에 해당하는 고정 오프셋임을 알 수 있습니다. 이 보정을 적용하면 IMU의 원시 이륙 판독값 1.223초가 1.240초가 되어 플레이트와 일치합니다. 비디오는 이야기가 다릅니다. 7ms의 고정 부분을 보정하고 나면 74번 프레임의 원시 판독값이 이미 플레이트 값에 가깝지만, 60fps 카메라는 그 프레임 주변 16.7ms 창 안 어딘가에만 진짜 순간을 위치시킬 수 있으므로 1.233~1.250초라는 구간이 정직한 표현이지 단일 값이 아닙니다. 보정 전이었다면, 플레이트의 1.240초와 IMU의 원시값 1.223초를 비교한 분석가는 17밀리초의 불일치를 기록하고 IMU 데이터 불량이나 장비 결함으로 표시했을 수도 있습니다. 두 지점 동기화 점검이 타이밍 오차임을 밝혀줬을 하드웨어 문제를 잘못 쫓아 헛다리를 짚는 셈입니다.