동영상을 한 번 색인해 반복 추론 비용을 줄이는 방식
동영상을 매번 새로 분석하게 하면 같은 파일에 대해 질문이 다시 들어올 때마다 멀티모달 처리 과정이 반복된다. 이 방식은 느리고 비용이 커질 수 있다. 더 나은 구조는 동영상을 일회성 입력이 아니라 여러 번 찾아볼 수 있는 지식 자료로 다루는 것이다.
먼저 자막, OCR 결과, 장면 구간, 대표 화면을 뽑고, 각 내용에 시간 정보를 붙인다. 그다음 임베딩을 만들고 을 구성한다. 이후 질문이 들어오면 전체 동영상을 다시 넣지 않고, 으로 관련 근거만 찾아 에 전달한다.
핵심 변화는 의 역할을 “동영상 전체를 다시 이해하기”에서 “찾아낸 근거를 바탕으로 답하기”로 바꾸는 것이다. 이 구조는 Watch 이라는 오픈소스 프로젝트로 공개됐고, MCP, , 로 사용할 수 있다.
핵심 포인트
- 같은 동영상을 다시 질문할 때마다 전체 멀티모달 처리를 반복하지 않도록 설계했다.
- 자막, OCR, 장면 구간, 대표 화면을 뽑고 시간 정보와 함께 저장한다.
- 임베딩과 을 만들어 동영상을 나중에 검색할 수 있게 한다.
- 으로 필요한 근거만 찾아 에 넘긴다.
- Watch 은 오픈소스로 공개됐고 MCP, , 를 제공한다.