대형 문서용 검색 증강 생성은 검색만 평가해도 부족하다

대형 법률 문서 데이터베이스에 검색 증강 생성을 적용하려면 검색 단계의 품질을 따로 재야 한다. 문서가 섹션, 하위 섹션, 문단처럼 일정한 구조를 갖고 있다면 계층적 조각 나누기로 자연스러운 단위의 문맥을 만들 수 있다. 검색 방식은 벡터 검색과 키워드 검색을 섞는 하이브리드 검색이 될 수 있고, 두 방식의 가중치나 순위 결합 방식을 조정해야 한다.

문제는 정확률은 사람이 질문을 만들고 상위 결과를 채점해 어느 정도 잴 수 있지만, 재현율은 전체 말뭉치 안의 모든 관련 조각을 알아야 해서 현실적으로 어렵다는 점이다. 여러 논의는 검색 증강 생성이 단순히 상위 몇 개 조각을 모델에 넣는 방식으로는 실제 서비스에서 쉽게 깨진다고 본다. 검색 결과를 다시 정렬하는 단계, 최종 문맥을 고르는 단계, 그리고 모델이 올바른 문맥을 잘못 합치는지 확인하는 평가가 함께 필요하다.

검색기가 맞는 조각을 가져와도 모델이 모순된 조각을 무시하거나 근거 없는 결론을 내리면 실패 원인은 검색이 아니라 답변 합성이다. 그래서 대형 데이터에서는 작은 예시 몇 개로 좋아 보이는지보다, 표준화된 평가 세트와 사람이 검증한 실패 사례를 함께 쌓아야 한다.