이미지 검색용 모델 선택이 성능 차이를 크게 만들 수 있다
자동차 판매 사진으로 폭스바겐 골프 세대처럼 아주 비슷한 차종을 구분하는 작은 실험에서 모델별 차이가 크게 났다. 175장과 시험 데이터 132장을 쓰고, 이미 학습된 이미지 인코더를 그대로 둔 뒤 임베딩을 만들고 으로 분류했다.
SigLIP2 SO400M은 약 92% 를 보였고, CLIP ViT-L은 약 59%, DINOv2 Giant는 약 41%에 그쳤다. 임베딩을 했기 때문에 와 유클리드 거리는 같은 순위를 냈고, 거리 계산 방식만 바꿔도 DINOv2 결과는 달라지지 않았다.
SigLIP은 이미지와 텍스트를 맞춰 배우는 대조 학습 방식이라 비슷한 이미지를 찾는 용도에 잘 맞을 수 있다. DINOv2는 자기지도 학습 모델이라 그대로 k-NN에 쓰기보다 별도 분류기를 붙여 학습해야 더 잘 맞을 가능성이 있다.
핵심 포인트
- 작은 자동차 이미지 에서 SigLIP2 SO400M은 약 92% 를 냈다.
- 같은 방식에서 CLIP ViT-L은 약 59%, DINOv2 Giant는 약 41%였다.
- 뒤에는 와 유클리드 거리가 같은 순위를 내므로 거리 방식이 핵심 원인은 아니었다.
- DINOv2는 단순 k-NN 검색보다 별도 분류기를 붙이는 방식이 더 맞을 수 있다.
- 이미지 기반 에이전트는 모델을 고르기 전에 실제 데이터로 임베딩 성능을 비교해야 한다.