잘못된 답의 원인은 모델보다 회수 단계일 수 있다
자체 문서를 바탕으로 질문에 답하는 에서, 답은 자신 있게 보였지만 내용은 자주 틀렸다. 처음에는 모델이 내용을 지어낸다고 보고 를 고치고, 온도를 낮추고, 다른 모델도 시험했다.
하지만 이런 조정은 임시 처방에 가깝거나 결과를 크게 바꾸지 못했다. 나쁜 답이 나온 순간의 을 살펴보자, 모델에 들어간 문맥 자체가 부정확하거나 쓸모없는 경우가 많았다.
모델은 잘못 들어온 자료를 바탕으로 비교적 그럴듯하게 답하고 있었고, 핵심 문제는 회수 단계에 있었다. 문제를 회수와 생성으로 나누어 따로 하자, 어디에 시간을 써야 하는지 훨씬 분명해졌다.
핵심 포인트
- 자체 문서 기반 에서 자신 있지만 틀린 답이 반복됐다.
- 수정, 온도 낮추기, 모델 교체는 큰 해결책이 되지 못했다.
- 을 보니 모델보다 잘못된 문맥을 넣는 회수 단계가 문제였다.
- 회수와 생성을 따로 평가하면 개선할 지점이 더 빨리 보인다.