LithosAI, Kimi 코딩 모델을 초당 1,000토큰 속도로 제공
LithosAI는 를 초당 1,000토큰 속도로 실행하는 Lithos 을 내세운다. 이 모델은 1조 개 매개변수를 가진 코딩용 모델이며, 8개 B200 장비에서 돈다.
Claude Code, , 또는 사용자가 쓰는 작업 도구와 함께 붙여 쓸 수 있다고 안내한다. 일반 에서 같은 모델을 쓰면 초당 174~291토큰 수준이지만, Lithos 에서는 3.4~5.7배 빠르다고 비교한다.
속도를 높이면서도 근사 처리 없이 모델 본래 정밀도와 품질을 유지한다고 밝힌다. LithosAI는 카네기멜런대학교 컴퓨터과학 교수 Dimitrios Skarlatos와 Zhihao Jia가 세웠다.
핵심 포인트
- 를 초당 1,000토큰 속도로 실행한다고 내세운다.
- 기존 주요 대비 3.4~5.7배 빠르다는 비교 수치를 제시한다.
- Claude Code, , 사용자가 쓰는 작업 도구와 함께 쓸 수 있다고 안내한다.
- 8개 B200 장비에서 1조 개 매개변수 모델을 실행한다.
- 근사 처리 없이 모델 본래 품질을 유지한다고 밝힌다.