혼자 쓰는 로컬 LLM에서 남는 GPU 성능을 더 쓰는 문제
혼자 쓰는 추론 환경에서 성능을 충분히 쓰는 방법이 핵심입니다. 이 환경은 한 명에게 초당 45개 토큰을 만들 수 있지만, 동시에 4명에게는 각각 초당 40개 토큰을 만들 수 있는 것으로 보입니다.
단순히 한 대화만 돌리면 전체 처리량의 일부만 쓰이고, 여러 요청을 동시에 처리할 때 가 더 바쁘게 움직입니다. 질문의 실제 목표는 혼자 쓰는 상황에서도 남는 처리량을 끌어와 를 더 높일 수 있는지입니다.
핵심 포인트
- 한 명이 한 요청만 쓰면 초당 45개 토큰 정도가 나온다는 전제입니다.
- 동시에 4명에게 제공하면 각각 초당 40개 토큰까지 가능하다는 전제입니다.
- 핵심 의문은 혼자 쓰면서도 남는 처리량을 활용할 수 있느냐입니다.
- 에서는 여러 작업을 병렬로 돌릴 때 이런 여유 처리량이 비용 절감에 도움이 될 수 있습니다.