오픈소스중요도: 보통

Qwen3.6 27B, 빠른 로컬 에이전트지만 안정성은 설정에 달림

r/LocalLLaMA2026년 7월 5일 · 8일 전

는 고성능 개인용 컴퓨터에서도 꽤 빠르게 돌릴 수 있는 로 시험됐다. 9800X3D, 64GB 메모리, 환경에서 설정을 조정하자 20시간가량의 코딩 , 디버깅, 문서 작업 기록 6,454개 기준으로 평균 140.7 토큰/초, 중앙값 134.9 토큰/초가 나왔다. 가장 자주 나온 속도 구간은 120~130 토큰/초였고, 일부 구간은 233 토큰/초까지 올라갔다.

설정은 , 192k 컨텍스트, MTP draft=10, spec-draft-p-min=0.5, batch/ubatch 512 조합이었다. 다만 에 대한 평가는 갈렸다. 빠른 속도와 단일 요청 성능은 좋지만, 여러 단계로 이어지는 에서는 양자화 모델이 BF16보다 불안정하거나, Qwen 3.5 122B보다 실제 작업 신뢰도가 떨어진다는 경험도 있었다.

반대로 Ada에서 FP8과 vLLM으로 높은 처리량을 냈다는 벤치마크와, 로컬 Claude Code 환경에서 자바 게임용 A* 길찾기 구현을 끝냈다는 사례도 있었다. 영어 개발만 하는 사람에게 다국어 능력이 모델 크기와 비용을 낭비하는 것 아니냐는 문제 제기도 함께 나왔다.

핵심 포인트

  • 환경에서 는 평균 140.7 토큰/초, 중앙값 134.9 토큰/초를 기록했다.
  • 측정은 짧은 데모가 아니라 약 20시간의 코딩 에이전트, 디버깅, 문서 작업 흐름에서 이뤄졌다.
  • MTP와 설정은 속도에 도움이 됐지만, 의 캐시 처리에는 아직 경고가 남을 수 있다.
  • 양자화 모델은 빠르고 가볍지만, 에서는 BF16보다 반복 오류나 불안정성이 생길 수 있다는 보고가 있었다.
  • 실제 비용 절감 여부는 토큰/초보다 작업 성공률, 재시도 횟수, 필요한 하드웨어 비용까지 함께 봐야 한다.

이 사건을 다룬 원문 (7)

원문 보기 ↗