긴 법률 문서에서 RAG 검색 품질을 시험한 사례
미국 연방대법원의 출생시민권 판결문인 Trump v. Barbara는 194쪽짜리 긴 문서다. 다수의견, Jackson의 보충의견, Kavanaugh의 일부 동의·일부 반대 의견, 그리고 세 개의 반대의견이 함께 들어 있다.
같은 “관할권에 속한다”라는 표현도 어느 의견 안에서 읽느냐에 따라 뜻이 달라진다. 그래서 단순히 비슷한 문장을 찾아 붙이는 방식으로는 내용을 섞어 잘못 답하기 쉽다. 는 이 문서를 방식과 구조로 다뤘고, 서로 다른 의견과 문서 구역을 구분해 찾아가는 점이 강점으로 드러났다.
예를 들어 Kavanaugh의 근거와 다수의견의 근거를 비교할 때, 비슷한 표현을 한데 섞지 않고 알맞은 의견과 구역으로 이동했다. 답변마다 특정 쪽과 문서 블록을 가리켜서, 실제 를 열어 확인할 수 있었다.
핵심 포인트
- 194쪽짜리 대법원 판결문으로 긴 구조화 문서 검색을 시험했다.
- 여러 의견이 같은 표현을 다른 뜻으로 써서 단순 검색이 헷갈리기 쉬웠다.
- 는 의견별 구역을 구분해 필요한 부분을 찾는 데 강점을 보였다.
- 답변이 특정 쪽과 문서 블록을 가리켜 사람이 원문으로 확인할 수 있었다.
- 긴 문서를 다루는 에는 정확한 검색과 출처 확인이 중요하다.