큰 문맥을 쓰는 대규모 언어 모델 비용 고민
이 많은 기존 노드를 참고해야 하는 플랫폼을 만들고 있다. 예를 들어 DAG를 만들 때, 이미 정의된 여러 노드를 알고 있어야 하며 그래프를 구성하면서 그 노드들을 정확히 참조해야 한다.
핵심 고민은 많은 문맥을 모델에 넣으면서도 , 비용, 추론 품질을 함께 관리하는 방법이다. 대부분의 문맥이 요청마다 거의 바뀌지 않는다면 문맥 캐싱이 좋은 해법인지가 문제다.
다른 선택지로는 과 를 쓰는 방식이 있다. 다만 이 방식은 의미가 비슷한 몇 개만 찾아오는 데 강할 수 있어서, 모델이 많은 노드를 넓게 참조해야 하는 경우에는 부족할 수 있다는 우려가 있다.
핵심 포인트
- 이 많은 기존 노드를 정확히 참조해야 하는 상황이다.
- DAG 생성처럼 구조가 있는 작업에서는 일부 정보만 찾는 방식이 부족할 수 있다.
- 문맥을 많이 넣으면 비용, , 추론 품질 사이의 균형이 문제가 된다.
- 문맥 캐싱은 요청마다 거의 변하지 않는 정보가 많을 때 검토할 만한 선택지다.
- 과 는 후보지만, 많은 노드를 넓게 참조해야 할 때 한계가 우려된다.