llama.cpp에서 여러 사용자에게 긴 컨텍스트를 나누는 문제
로 128k인 LLM을 돌릴 때, 여러 사용자가 동시에 접속하면 각 사용자가 128k 전체를 쓸 수 있는지 의문이 제기된다. 예시는 최대 8명의 사용자가 동시에 쓰는 상황이다.
핵심 문제는 가 를 사용자마다 따로 제공하는 것이 아니라, 여러 사용자 사이에서 나누어 쓰는 방식처럼 보인다는 점이다. 즉, 8명 모두에게 긴 입력과 대화 기록을 온전히 제공하려면 실제로 어떤 구조가 필요한지 확인이 필요하다.
핵심 포인트
- 128k인 LLM을 여러 사용자가 동시에 쓰는 상황을 다룬다.
- 예상 는 최대 8명이다.
- 질문자는 가 128k를 사용자별로 따로 주는 것이 아니라 나누어 쓰는 것처럼 보인다고 본다.
- 운영에서는 가 수에 따라 메모리와 비용 부담을 크게 키울 수 있다.