검색만 믿지 말고 원문 확인까지 나누면 토큰을 줄일 수 있다
에이전트가 자료를 찾을 때 검색 결과의 상위 조각만 바로 근거로 쓰면 틀릴 수 있다. 검색 결과는 확정된 증거가 아니라 확인할 후보에 가깝다.
더 나은 방식은 먼저 검색으로 후보를 좁히고, 그다음 실제 원문을 다시 열어 필요한 부분만 읽어서 맞는지 확인하는 것이다. 약 2,000개 파일이 있는 에서 위치를 찾는 를 한 번 실행했을 때, 일반 셸 방식은 평균 962 토큰을 쓰고 24개 중 22개를 맞혔다.
검색한 뒤 원문을 훑어보는 방식은 평균 460 토큰을 쓰고 24개 중 23개를 맞혔다. 한 에이전트와 한 자료 묶음으로만 본 결과라 넓게 일반화하기는 어렵지만, 토큰을 거의 절반으로 줄이면서 결과도 조금 나아졌다.
핵심 포인트
- 검색 결과 상위 조각은 최종 증거가 아니라 확인할 후보로 다루는 편이 안전하다.
- 후보 검색과 원문 확인을 두 단계로 나누면 에이전트가 더 적은 내용을 읽게 만들 수 있다.
- 약 2,000개 파일 에서 검색 뒤 원문 확인 방식은 460 토큰으로 23/24개를 맞혔다.
- 일반 셸 방식은 962 토큰으로 22/24개를 맞혔다.
- 결과는 한 에이전트와 한 자료 묶음 기준이라 추가 검증이 필요하다.