대규모 언어 모델 추론을 쉽게 풀어쓴 공개 핸드북
을 실제 서비스에서 실행할 때 어떤 병목이 생기는지 정리한 공개 핸드북이 만들어지고 있다. 새로 추가된 장은 실행 방식과 메모리 내부 구조를 다룬다.
핵심 내용은 추론 중 가 왜 자주 놀게 되는지, 이 처리량을 어떻게 제한하는지, 실제 속도 저하가 어디서 생기는지이다. 핸드북은 , 배치 처리, vLLM, , -LLM 같은 추론 최적화 주제도 함께 다룬다.
복잡한 구조는 mermaid 도표로 보여 주어 긴 설명만 읽는 것보다 흐름을 따라가기 쉽게 만들었다. 아직 완성본이 아니라 개인 학습 프로젝트로 계속 늘어나는 중이며, 실제 운영 경험이 있는 사람들의 수정과 피드백을 받고 있다.
핵심 포인트
- 추론을 실제 규모로 실행하는 방법을 설명하는 공개 핸드북이다.
- 새 장은 실행과 가 추론 속도에 미치는 영향을 다룬다.
- 추론 중 가 비는 이유와 처리량 병목을 설명한다.
- , 배치 처리, vLLM, , -LLM 같은 추론 최적화 도구와 개념을 포함한다.
- 아직 작성 중인 자료이며 실제 운영 경험자의 피드백과 수정을 받고 있다.