2B 소형 모델로 데이터 분석가 역할을 줄여 담으려는 Cleo
Cleo는 큰 챗봇 대신 작은 2B 모델로 데이터 분석가처럼 질문을 받고, 필요한 데이터를 찾고, 답을 만드는 실험이다. 은 이며, 여기에 특정 방식으로 추가 학습을 했다. 핵심은 모델을 따로 떼어 훈련하지 않고, 실제 실행 때 쓰는 절차와 같은 틀 안에서 훈련·평가·추론을 맞춘 점이다.
Cleo는 여러 후보 SQL 질의를 만든 뒤, 단순히 모델이 그럴듯하다고 고른 답이 아니라 실제 실행 결과를 근거로 더 나은 질의를 찾는다. SQL 안전장치, 종류 차이 처리, 시간 제한, 애매한 질문을 다시 묻는 방식까지 하나의 시스템으로 함께 설계했다. 코드, 모델, 이 모두 오픈소스로 공개됐다.
자원이 부족한 환경에서 강화학습을 시도한다면 ECHO라는 방법도 함께 참고할 만한 자료로 제시됐다.
핵심 포인트
- Cleo는 를 바탕으로 만든 2B 규모의 소형 분석 모델이다.
- 훈련·평가·추론을 같은 구조 안에서 맞춰 작은 모델이 실제 사용 절차에 익숙해지게 했다.
- 여러 SQL 후보를 만들고 실제 실행 결과를 보고 더 나은 답을 고르는 방식을 쓴다.
- SQL 안전장치, 별 차이, 시간 제한, 재질문 방식까지 함께 설계했다.
- 코드, 모델, 이 오픈소스로 공개됐다.