법률용 에이전트형 RAG의 지연과 토큰 비용 줄이기
큰 법률 문서 묶음, 웹 검색, 웹페이지 가져오기를 함께 쓰는 시스템은 답을 만들기까지 여러 번 검색하고 검토하기 때문에 과 이 쉽게 커진다. 이미 , 품질 확인, 안전장치를 넣은 구조에서도 모든 질문에 같은 깊이의 조사 과정을 적용하면 속도와 비용이 감당하기 어려워질 수 있다. 실무 조언의 핵심은 반복 횟수를 줄이고, 검색을 한 번씩 순서대로 보내지 말고 묶어서 병렬로 처리하는 것이다.
먼저 질문을 분류해 단순 조회, 근거 인용이 필요한 답, 여러 문서 비교, 최신 법률 확인, 사람 검토가 필요한 고위험 질문으로 나누면 불필요한 웹 검색과 과정을 줄일 수 있다. 검색은 좁게 시작해 근거가 부족할 때만 넓히고, 재순위화로 좋은 자료를 고른 뒤 모델에는 선택된 근거만 넣는 방식이 토큰을 줄인다. 같은 긴 대화 기록이나 조사 기록을 매 반복마다 다시 넣지 않는 것도 비용 절감에 중요하다.
품질 확인도 모두 비싼 LLM 판단에 맡기기보다 인용 존재, 관할 지역, 날짜, 출처 신뢰도, 모순 여부 같은 간단한 검사는 규칙으로 처리하고, 위험한 답에만 더 무거운 검사를 쓰는 방향이 제안된다. 사용자는 빠른 빈 답보다 20~40초가 걸려도 근거가 명확하고 확인 가능한 답을 더 받아들일 수 있으며, 진행 상황을 짧게 보여주면 이 덜 답답해진다.
핵심 포인트
- 모든 질문에 전체 조사 루프를 돌리면 과 이 크게 늘어난다.
- 질문을 먼저 분류해 단순한 요청은 가벼운 경로로 보내고, 복잡하거나 위험한 요청만 깊게 처리한다.
- 검색 요청은 한 번씩 순서대로 보내기보다 묶어서 병렬로 실행하는 편이 낫다.
- 모델에는 전체 조사 기록이 아니라 고른 근거와 짧은 주장만 넣어 토큰을 줄인다.
- 인용, 날짜, 관할 지역, 출처 신뢰도 같은 검사는 가능한 한 규칙으로 먼저 처리한다.