llama.cpp 인텔 GPU용 텐서 분할 수정
의 b9788 릴리스에 용 수정이 들어갔다. 핵심은 환경에서 `--split-mode tensor` 옵션을 지원하는 변경이다. 이 옵션은 여러 GPU가 있을 때 모델 계산을 텐서 단위로 나누어 맡기는 방식과 관련된다.
아직 실제 속도나 비용 절감 수치는 나오지 않았다. 두 개의 를 가진 사람이 직접 시험해 보고 성능 숫자를 공유해 달라는 요청이 함께 올라왔다.
핵심 포인트
- b9788 릴리스에 관련 수정이 포함됐다.
- 에서 `--split-mode tensor` 옵션을 지원하는 변경이다.
- 여러 GPU에 계산을 나누는 사용 사례와 관련된다.
- 아직 성능 수치나 비용 절감 결과는 공개되지 않았다.
- 두 개의 로 시험한 벤치마크가 필요한 상태다.