로컬 LLM 비용 계산에서 입력 처리 속도도 봐야 한다
로컬에서 LLM을 돌릴 때 장비 투자 대비 효과를 계산하면 보통 답변을 만들어내는 속도인 디코딩에만 집중한다. 하지만 긴 자료를 읽고 정리하는 에서는 입력을 먼저 처리하는 프리필도 비용과 성능에 큰 영향을 줄 수 있다. 예시로 를 4대에서 4비트 방식과 등으로 최적화했을 때, 6명이 동시에 쓰는 조건에서 출력 속도는 초당 약 60토큰이었다.
이 속도로 24시간 내내 을 돌리면 하루 출력은 약 518만 토큰이고, 출력 토큰 100만 개당 4.40달러로 계산하면 약 22달러 수준이다. 같은 장비에서 프리필 처리량은 초당 약 3,000토큰으로 알려져 있으며, 가격은 100만 개당 약 1.40달러로 더 낮다. 출력은 입력보다 100만 토큰당 보통 3~5배 비싸지만, 프리필은 디코딩보다 10~30배 빠르고 이 예시에서는 약 50배 빠르다.
그래서 장비의 경제성을 따질 때 출력 속도만 보면, 입력을 많이 읽는 작업에서 실제 이득을 놓칠 수 있다.
핵심 포인트
- 비용 논의는 보통 출력 속도인 디코딩에 치우친다.
- 예시에서는 4대의 로 6명 동시 사용 시 초당 약 60토큰을 출력했다.
- 24시간 으로 계산하면 하루 약 518만 출력 토큰, 약 22달러 수준이다.
- 같은 설정의 프리필 처리량은 초당 약 3,000토큰으로, 출력보다 훨씬 빠르다.
- 입력을 많이 읽는 은 프리필 성능까지 포함해 장비 투자 대비 효과를 계산해야 한다.