작은 오픈소스 모델로 안정적인 AI 에이전트 만들기 경험
작은 로 안정적으로 돌아가는 시스템을 만드는 데에는 많은 조정이 필요하다. 특히 12B에서 32B 크기의 모델은 성능이 충분해 보여도, 실제 작업에서는 지시를 일관되게 따르게 만드는 일이 가장 어렵다. 프롬프트 작성, 작업 계획, , , RAG 구성 같은 부분을 반복해서 손봐야 한다.
벤치마크 점수에는 잘 드러나지 않는 작은 설정들이 실제 안정성에 큰 영향을 준다. 여러 번의 시행착오 끝에, 가능한 작은 모델로도 만족할 만한 에이전트 구성이 가능하다는 경험이 제시된다.
핵심 포인트
- 12B~32B 크기의 작은 로 시스템을 구성했다.
- 작은 모델은 지시를 안정적으로 따르게 만드는 과정이 가장 어렵다.
- 프롬프트, 작업 계획, , , RAG를 반복해서 조정해야 한다.
- 벤치마크에 나오지 않는 세부 설정이 실제 운영 안정성에 큰 영향을 준다.
- 은 비용 절감 가능성이 있지만 운영 설계 부담이 따른다.