요청 실행 방식을 자동으로 고르는 ‘컨텍스트 런타임’ 아이디어
시스템을 만들기 시작해도 시간이 지나면 단순한 검색 기능이 아니라 여러 실행 결정을 직접 관리하는 구조가 되기 쉽다. 예를 들어 어떤 모델을 쓸지, 어떤 검색 방식을 쓸지, 대화 기억을 어떻게 붙일지, 답을 다시 검증할지, 도구를 어떻게 호출할지, 캐시와 예산을 어떻게 다룰지가 안에 쌓인다. 이 방식은 기능이 늘수록 고정된 이 커지고 바꾸기 어려워진다.
제안된 방향은 이 실행 절차를 직접 정하지 않고, 원하는 목표만 전달하게 하는 것이다. 별도 이 모델, 검색, 메모리, 검증 여부, 더 싼 실행 전략을 고르는 식이다. 이는 가 질문을 받으면 내부에서 효율적인 실행 계획을 고르는 방식과 비슷하다.
이 접근은 과 Go로 구현되었고, 관련 백서와 코드가 공개되어 있다.
핵심 포인트
- 시스템이 커지면 모델 선택, 검색 선택, 메모리, 검증, 도구 호출, 캐시, 예산 관리가 코드에 뒤섞일 수 있다.
- 제안된 구조는 이 목표만 말하고, 실행 방식은 별도 계층이 정하게 한다.
- 별도 계층은 요청마다 모델, 검색, 메모리, 검증 비용, 더 싼 실행 전략을 고른다.
- 핵심 장점은 고정 을 줄이고, 요청별 비용과 품질을 조정할 여지를 만드는 것이다.
- 과 Go 구현, 백서, 코드가 공개되어 있다.