tunelab, 반복 LLM 작업을 로컬 소형 모델로 옮기는 도구 공개
tunelab은 분류, 라우팅, 정보 추출처럼 반복되는 을 비싼 최신 API 대신 로컬 소형 모델로 처리하게 해 주는 오픈소스 도구다. 자체 데이터로 소형 모델을 미세 조정하고, 실제 배포 전에 따로 떼어 둔 평가 데이터에서 API보다 나은지 확인한다. 의도 분류 실험에서는 무료 로컬 분류기가 88.5% 정확도를 냈고, 은 같은 작업에서 81.8%를 기록했다.
3단계 캐스케이드 방식은 94% 정확도를 냈으며, 전체 트래픽의 약 88%를 로컬에서 처리해 최신 모델만 쓰는 방식보다 비용을 8분의 1로 줄였다. 작동 방식은 가장 싼 방법부터 비싼 방법까지 차례로 시험하는 구조다. 먼저 프롬프트 개선이나 더 싼 모델을 시도하고, 그다음 임베딩 유사도 기반 분류, 작은 분류기, LoRA 미세 조정, 드문 경우에는 대량 텍스트로 추가 학습까지 올라간다.
목표 정확도를 넘는 단계가 나오면 거기서 멈추기 때문에, 무조건 미세 조정부터 하지 않는다.
핵심 포인트
- 분류, 라우팅, 추출 같은 반복 LLM 작업을 로컬 소형 모델로 옮기는 오픈소스 도구다.
- 배포 전 따로 둔 평가 데이터에서 API보다 나은지 확인한다.
- 실험에서 로컬 분류기는 88.5%, 은 81.8% 정확도를 냈다.
- 3단계 캐스케이드는 94% 정확도와 약 88% 로컬 처리를 달성해 비용을 8분의 1로 낮췄다.
- 프롬프트 개선부터 LoRA 미세 조정까지 싼 방법부터 차례로 시험한다.