영상 AI는 모델보다 설정이 성능과 비용을 더 좌우한다
VideoDB가 실제 영상 작업에서 을 평가한 결과, 보다 설정 방식이 결과를 더 크게 바꿨다. 대상 작업은 영상 검색, 감시, 요약, 추출이었다. 은 초당 몇 장을 뽑느냐보다 장면이 바뀌는 지점을 얼마나 잘 반영하느냐가 중요했다.
일정한 간격으로만 뽑으면 중요한 일이 빠질 수 있고, 너무 촘촘히 뽑으면 비슷한 프레임이 컨텍스트를 채워 비용과 혼란을 키운다. 가장 나은 방식은 장면 경계 주변에서는 더 자주 뽑고, 변화가 적은 구간에서는 적게 뽑는 방식이었다. 도 큰 차이를 만들었다.
단순히 영상을 설명하라고 하면 넓고 흐린 답이 나오지만, 각 활동을 찾아 시작과 끝 시간을 적으라고 하면 훨씬 구체적인 결과가 나온다. 일반 점수보다 실제 업무에 가까운 평가 세트가 더 도움이 되었고, 특히 조금만 설정이 나빠도 틀릴 수 있는 근접 오답 사례가 좋은 판단 기준이 되었다.
핵심 포인트
- 영상 검색, 감시, 요약, 추출에서는 보다 설정이 더 큰 차이를 만들었다.
- 프레임을 일정 간격으로만 뽑으면 중요한 사건을 놓칠 수 있다.
- 너무 많은 프레임을 넣으면 컨텍스트가 중복 정보로 차서 비용이 늘고 답도 흐려질 수 있다.
- 장면 경계 근처는 촘촘히, 변화가 적은 구간은 드물게 샘플링하는 방식이 가장 잘 맞았다.
- 실제 업무 평가에는 일반 보다 근접 오답 사례가 더 유용했다.