장기 메모리 평가 1위, 토큰 사용량은 경쟁 시스템의 약 10분의 1
235B A22B Instruct 2507로 만든 이 에서 500문제 중 470점을 기록했다. 공개된 비교 결과 기준으로 가장 높은 점수이며, 다음으로 좋은 시스템보다 토큰을 약 10분의 1만 사용했다. 대화 내용을 저장하고 필요한 정보를 찾는 과정은 가 맡고, 최종 답변을 만드는 모델은 사용자가 따로 선택할 수 있다.
개발 과정에서 가장 어려웠던 부분은 구조 설계보다 작은 모델이 일으키는 예측하기 힘든 오류를 막고 시스템을 안정적으로 만드는 일이었다. 전체 작업 시간의 약 90%가 과 작성에 쓰였다는 개발자의 직접 경험이다. 질문별 결과와 사용한 프롬프트를 확인하는 평가 화면이 공개됐고, 같은 평가를 다시 실행한 뒤 공식 채점기로 점수를 검증할 수 있는 코드도 오픈소스로 제공된다.
실제 서비스에서는 평가용 프롬프트가 Gemini에 지나치게 맞춰져 있어 다른 프롬프트를 사용한다.
핵심 포인트
- 에서 500문제 중 470점을 기록했다.
- 다음으로 좋은 시스템보다 토큰을 약 10분의 1만 사용했다.
- 저장과 검색은 가 처리하고 최종 답변 모델은 따로 고를 수 있다.
- 개발 시간의 약 90%가 과 오류 방지 작업에 들어갔다.
- 공개된 코드로 평가를 다시 실행하고 공식 채점기로 결과를 확인할 수 있다.