프롬프트보다 문서 조각 찾기가 먼저라는 실제 경험
문서가 많은 작업에서는 를 잘 써도 모델이 엉뚱한 문서 부분을 보고 있으면 답이 좋아지기 어렵다. “주어진 내용만 보고 답하라” 같은 지시를 계속 고치는 것보다, 처음부터 모델에게 정확한 을 주는 일이 더 중요하다. 큰 PDF, 제품 설명서, 노트를 통째로 붙여 넣으면 필요한 답이 묻히기 쉽다.
이 문제를 줄이기 위해 ly AI를 위에 얹어, 문서 찾기와 답변 지시를 분리한 구조가 쓰였다. 에이전트는 폴더 구조를 살펴보고, 문서 목차를 확인한 뒤, 필요한 부분만 읽는다. 파일은 로컬에 남아 있고, 는 더 짧고 엄격해진다.
핵심 지시는 “찾아온 문서 부분을 기준으로 삼고, 출처를 표시하며, 없는 내용은 만들지 말라”로 좁혀진다. 문서 찾기 계층은 잘 작동하지만, 를 어떻게 설계할지는 아직 남은 과제다.
핵심 포인트
- 좋은 도 잘못된 문서 부분을 주면 한계가 있다.
- 긴 문서를 통째로 붙여 넣는 방식은 필요한 정보를 묻히게 만들 수 있다.
- 문서 찾기와 답변 생성을 분리하면 가 짧고 명확해진다.
- 에이전트가 폴더, 목차, 필요한 을 순서대로 확인하는 구조가 소개됐다.
- 파일을 로컬에 둔 채 필요한 부분만 모델이 읽게 하는 방식이다.