Hermes Agent에서 모델과 제공사를 고를 때 생기는 실제 고민
직접 사용 경험 기준으로, 월 20달러짜리 Ollama 구독에서 Ollama : Cloud를 에 연결하면 콘텐츠 제작에는 잘 작동했다. 테니스 연구 프로젝트에서 Tennis Wiki와 지식베이스를 만들기 위해 많은 토큰을 쓰고, 생체역학 연구 내용을 다루는 작업에 활용했다.
이후 프로그램을 통해 무료 API 키를 받아 0달러로 모델을 실행할 수 있게 되었지만, Nvidia 쪽 는 Ollama : Cloud만큼 안정적이지 않게 느껴졌다. 그래서 Super 120b A12b, Mistral Large 3 675b 같은 다른 Nvidia 모델로 바꿀지 고민하고 있다.
숫자가 큰 모델, 예를 들어 675b가 120b보다 더 똑똑한지, 더 빠른지, 어떤 작업에 어떤 모델을 써야 하는지 판단 기준이 필요하다. , Mistral, 같은 다른 제공사도 무료 대형 언어 모델을 제공하므로, 같은 모델이라도 어느 제공사를 고르는 것이 나은지도 핵심 고민이다.
핵심 포인트
- Ollama : Cloud는 월 20달러로 콘텐츠 제작 작업에 잘 맞았다는 사용 경험이 있다.
- 을 쓰면 무료 API 키로 모델을 실행할 수 있지만, Nvidia의 는 더 불안정하게 느껴졌다.
- 후보 모델로 Super 120b A12b와 Mistral Large 3 675b가 언급됐다.
- 모델 이름의 큰 숫자가 곧 더 빠름이나 더 나은 결과를 뜻하는지는 별도 검증이 필요하다.
- 같은 모델이라도 Ollama, Nvidia, , Mistral, 중 어느 제공사를 쓰느냐가 안정성에 영향을 줄 수 있다.