비공개 문서 생성용 로컬 모델 선택 고민

기존 양식과 예시를 바탕으로 설계 문서를 만들고, 코드와도 대조하는 작업에 쓸 모델이 필요하다. 작업 범위는 상위 설계와 하위 설계를 모두 포함한다.

와 Jira 데이터를 내려받기 위해 MCP를 쓰고, 같은 와도 연결하려는 계획이다. 현재는 Kiro-cli와 함께 Opus 3.6을 주로 쓰고 있지만, 회사나 개인 데이터를 외부 모델에 보내지 않고 비공개로 처리하고 싶어 한다.

필요한 조건으로는 긴 자료를 한 번에 다룰 수 있는 최소 256k 컨텍스트가 제시됐다. 이 정도 추론 작업에 3090 4장이 꼭 필요한지도 핵심 질문이다.

핵심 포인트

  • 상위 설계와 하위 설계 문서를 만드는 모델 선택이 목적이다.
  • 기존 템플릿, 예시, 코드, , Jira 데이터를 함께 참고하려 한다.
  • MCP와 같은 와 연결하는 사용 사례다.
  • 외부 모델 대신 데이터를 비공개로 다룰 수 있는 선택지를 찾고 있다.
  • 최소 256k 컨텍스트와 3090 4장 필요 여부가 주요 제약이다.
원문 보기