문서가 있어도 답을 못 찾는 검색 증강 생성 실패 사례
챗봇이 에 있는 답을 찾지 못해 “모르겠다”고 답할 수 있다. 실제 답은 처음부터 색인된 `sla-.md` 문서에 있었고, “우선순위 1 사고는 1시간 응답, 4시간 해결 SLA를 가진다”는 내용이었다. 문제는 사용자가 “SLA”, “P1”처럼 줄임말로 물었지만, 문서에는 이를 풀어 쓴 표현이 들어 있었다는 점이다.
임베더가 줄임말을 자동으로 넓혀 해석하지 못해, 질문과 정답 문서 조각의 가 0.41에 그쳤다. 그 결과 정답 조각은 47위로 밀렸고, 상위 5개만 모델에 넘기는 설정에서는 아예 문맥에 들어가지 못했다. 모델이 고장 난 것이 아니라, 답을 만들 재료를 받지 못한 상태였다.
재발을 줄이려면 실제 사용자가 쓰는 줄임말, 코드명, 약어가 들어간 질문 12~15개로 @5 평가를 만들고, 임베더를 바꿀 때마다 에서 실패를 잡아내야 한다.
핵심 포인트
- 정답 문서는 처음부터 색인되어 있었지만 검색 상위 결과에 오르지 못했다.
- 사용자는 “SLA”, “P1”처럼 줄임말을 썼고, 문서는 이를 풀어 쓴 표현으로 담고 있었다.
- 정답 조각은 상위 5개 밖인 47위에 머물러 모델에 전달되지 않았다.
- 실제 사용자 표현을 담은 12~15개 질문으로 @5 평가를 만들면 같은 실패를 잡기 쉽다.
- 임베더를 바꿀 때 에서 검색 품질 하락을 자동으로 확인하는 것이 유용하다.