긴 문서를 여러 ‘전문가’로 나눠 비용을 줄이는 방식
700쪽짜리 문서를 한 번에 큰 문맥 창에 넣는 대신, 문서의 각 부분을 따로 처리하는 ‘’로 나누는 방식이다. 사용자가 PDF를 올리면 문서 구역별로 별도 전문가가 만들어지고, 각 전문가는 자기 문맥과 판단 과정을 가진다. 여러 전문가를 하나의 로 묶으면, 질문이 들어왔을 때 알맞은 전문가에게 자동으로 보내진다.
여러 구역을 함께 봐야 하는 질문은 여러 전문가가 답을 만들고, 그 결과를 합쳐 하나의 답으로 정리한다. 이 방식은 로 제공된다. 예시로 회사의 법무, 재무, 인사, 제품 지식을 각각 전문가로 만들고, 하나로 묶어 전사 지식에 질문할 수 있다.
, 임베딩, 검색 단계 없이 작동한다고 주장한다. 모든 내용을 하나의 문맥 창에 넣는 방식보다 비용이 70~90% 낮다고 주장한다.
핵심 포인트
- PDF를 올리면 문서 구역별로 별도 를 만든다.
- 이 질문을 알맞은 전문가에게 보낸다.
- 여러 구역을 함께 봐야 하는 질문은 여러 전문가의 답을 합쳐 처리한다.
- , 임베딩, 검색 단계 없이 작동한다고 주장한다.
- 긴 문서를 한 번에 넣는 방식보다 비용이 70~90% 낮다고 주장한다.