작은 검색 서비스가 중복 영상 400만 개를 줄인 방법
성인 콘텐츠 검색 서비스 nsfwbase.com은 출시 후 8개월 넘게 검색 품질을 다듬고 있다. 전체 3,700만 개 영상 중 약 400만 개가 중복으로 확인됐다. 여러 방법과 를 함께 써서 같은 영상을 찾아냈고, 검색 결과에 남아 있던 중복 영상 수를 크게 줄였다.
아직 중복이 완전히 사라진 것은 아니며, 앞으로는 이용자가 직접 중복을 표시할 수 있는 기능도 넣을 계획이다. 검색 방식은 일반 텍스트 검색, , 으로 나뉜다. 특히 선택이 큰 과제였고, 약 10개 모델을 실제 데이터로 시험했다.
논문만 읽는 것보다 실제 데이터에서 직접 돌려 보는 것이 더 중요했으며, 차원 수와 CPU/GPU 선택 같은 결정이 필요한 장비와 비용에 바로 영향을 준다.
핵심 포인트
- 출시 8개월이 넘은 검색 서비스에서 3,700만 개 영상 데이터를 다뤘다.
- 등을 써서 약 400만 개의 중복 영상을 찾아냈다.
- 중복은 줄었지만 완전히 없어지지 않아 이용자 표시 기능을 추가할 계획이다.
- 검색은 텍스트 검색, , 으로 나눠 설계됐다.
- 은 약 10개를 실제 데이터로 시험했고, CPU/GPU 선택이 장비 비용에 영향을 준다.