검색형 인공지능의 문서 찾기 성능을 비용 없이 반복 점검하는 법
검색형 에서는 질문에 맞는 문서를 얼마나 앞순위에 잘 올리는지가 중요하다. 한 실무 방식은 까다로운 시험 질문 묶음과, 각 질문에 답하려면 반드시 들어 있어야 하는 예상 문구를 미리 정해 둔다. 성능은 로 계산한다.
맞는 문서가 1등이면 1.00점, 2등이면 0.50점, 아예 못 찾으면 0점처럼 첫 번째 정답 문서의 순위가 높을수록 점수가 커진다. 코드를 바꾸거나 검색 설정을 조정할 때는 이전 기준점과 새 결과를 비교해 좋아졌는지 나빠졌는지 확인한다. 이나 LLM 분류처럼 이 필요한 결과는 미리 저장해 두어, 시험 데이터가 매번 똑같이 돌아가게 만든다.
예시 결과는 107개 질문에서 전체 0.813이며, 제품 관련 질문은 0.860, 일반 질문은 0.814, 사람 관련 질문은 0.495로 나타났다. 각 질문별로 검색 순위가 6등에서 2등으로 좋아졌는지, 1등에서 8등으로 나빠졌는지도 함께 보여 준다.
핵심 포인트
- 까다로운 시험 질문과 기대 문구를 미리 정해 검색 품질을 점검한다.
- 은 맞는 문서가 검색 결과에서 얼마나 앞에 나오는지 숫자로 보여 준다.
- 이전 기준점과 새 결과를 비교해 코드 변경이나 설정 조정의 영향을 확인한다.
- 과 LLM 분류 결과를 저장해 없이 같은 조건으로 반복 시험한다.
- 질문 유형별 점수와 개별 순위 변화를 함께 보면 어떤 영역이 나빠졌는지 찾기 쉽다.