LLM 사용 품질을 재는 로컬 우선 지표 도구 구상
LLM을 더 효율적으로 쓰기 위해 사용자의 사용 방식 자체를 측정하는 오픈소스 도구가 필요하다는 문제 제기다. 로는 의도한 의미 변화와 의도하지 않은 의미 변화, , 그리고 '머신 불시트' 논문에서 다룬 가 언급된다.
목표는 사용자가 모델을 얼마나 잘 쓰고 있는지 보고서로 확인하고, 잘못된 사용 패턴을 고치는 것이다. RAG 는 거의 완성 단계이며, 의미 변화는 분류기를 붙여 의도적인 변화인지 아닌지 판단하는 방식으로 구현할 수 있다고 본다.
다만 다른 지표는 구현이 어렵고, 이미 관련 오픈소스 나 논문이 있는지 찾고 있다. 제공사들은 내부적으로 비슷한 사용 품질 지표를 볼 가능성이 있지만, 일반 사용자가 자기 LLM 사용을 더 효율적으로 점검할 수 있는 공개 도구는 부족하다는 관점이다.
핵심 포인트
- LLM 사용자가 모델을 얼마나 효율적으로 쓰는지 보여주는 오픈소스 지표 엔진을 구상하고 있다.
- 측정하려는 항목은 의미 변화, , 등이다.
- RAG 를 바탕으로 의미 변화가 의도적인지 아닌지 분류하는 방식을 생각하고 있다.
- 기존 오픈소스 나 논문이 있는지 찾는 단계이며, 완성된 제품 발표는 아니다.
- 운영에서는 이런 지표가 불필요한 호출과 토큰 낭비를 찾는 데 도움을 줄 수 있다.