AI 에이전트 실험 전에 평가 기준부터 정해야 한다
RAG, 메모리, 에이전트, 그래프, 개체 추출, 청킹, 재순위화, 임베딩 같은 아이디어는 바로 만들기 전에 먼저 평가 방법을 정해야 한다. AI에게 대충 시켜서 코드를 만들고, 를 빌리고, 여러 실험 폴더를 만들다 보면 며칠 뒤에도 아이디어 자체가 맞는지 알기 어렵다. 실패 원인은 아이디어가 나쁜 것일 수도 있고, 구현이 틀린 것일 수도 있고, 테스트 방법이 잘못된 것일 수도 있다.
그래서 검색 단계는 Precision@k, , MRR, nDCG, Entity 같은 기준으로 보고, 답변 생성 단계는 Faithfulness, Rate, Groundedness, Answer Relevancy 같은 기준으로 봐야 한다. 전체 시스템은 인용 정확도, 하위 질문 처리 범위, 복합 질문 정확도 같은 기준으로 점검할 수 있다. 운영 관점에서는 지연 시간, 처리량, TPS, 질문당 비용을 함께 봐야 한다.
NQ, TriviaQA, SQuAD, PopQA, HotpotQA, 2WikiMultiHopQA, , Bamboogle, CRAG 같은 셋을 써서 비교 실험을 할 수 있다.
핵심 포인트
- 아이디어를 바로 구현하기 전에 평가 기준을 먼저 정해야 한다.
- 실패 원인은 아이디어, 구현, 테스트 중 어디에 있는지 분리해서 봐야 한다.
- 검색 품질, 답변 품질, 전체 흐름, 시스템 비용을 따로 측정해야 한다.
- 질문당 비용, 지연 시간, 처리량은 토큰과 운영비 절감에 직접 연결된다.
- 셋을 쓰면 실험 결과를 더 객관적으로 비교할 수 있다.