작은 로컬 모델이 C 코딩 테스트에서 크게 실패했다는 경험담
고가의 를 산 뒤, 이 실제 프로그래밍 보조 도구로 쓸 만한지 확인하려면 간단한 코딩 테스트가 필요하다는 주장이다. 테스트는 C99로 원주율 100자리를 계산하는 프로그램을 만들게 하는 방식이다. 숫자를 미리 적어 넣으면 안 되고, 직접 큰 수 계산 방식을 쓰거나 gmp.h 같은 라이브러리를 활용해야 한다.
이 과제는 C 언어 코드 작성, 기본 설계, 디버깅, 특이한 윈도우 개발 도구 환경 처리 능력을 한꺼번에 본다. 과 은 한 번에 성공했고, 는 약간의 디버깅 뒤 성공했다. 반면 최신 Ollama로 돌린 Qwen3.6 35B와 27B 양자화 모델은 OpenCode, OpenClaude, Hermess 환경에서 크게 실패했다.
어떤 경우에는 파일 생성조차 제대로 하지 못했고, 생성된 C 코드는 거의 쓸 수 없는 수준이었다. 다만 Qwen은 인터넷에서 금 가격을 찾아 온스와 그램 단위로 출력하는 일은 해냈고, 원주율 계산 알고리즘 자체를 전혀 모르는 것은 아닌 것으로 보인다.
핵심 포인트
- C99로 원주율 100자리를 계산하게 하는 테스트가 제안됐다.
- 과 은 한 번에 통과했고, 는 디버깅 뒤 통과했다.
- Qwen3.6 35B와 27B 양자화 모델은 여러 코딩 실행 환경에서 실패했다.
- 단순 지식 검색은 가능해도 실제 코딩 작업 완성 능력은 별개일 수 있다.
- 로컬 모델을 사거나 쓰기 전에는 자신의 실제 작업과 가까운 테스트를 먼저 해보는 편이 좋다.