챗봇이 5턴 넘으면 맥락을 잃는데, 기존 평가로는 못 잡아냈다
이 챗봇은 대화 시작 후 약 5턴까지는 잘 작동하지만, 그 이후로는 일관성이 급격히 떨어진다. 사용자가 앞서 언급한 을 잊어버리거나, 몇 메시지 전에 한 말과 모순되는 답을 하거나, 이전 맥락을 무시한 채 최신 질문에만 답하는 문제가 나타난다. 완전히 망가지는 수준은 아니지만 대화가 점점 부자연스러워진다.
개발팀은 로 를 구축해 두었고 품질 기준을 꾸준히 통과했지만, 이 문제를 전혀 잡아내지 못했다. 이유는 거의 모든 테스트 케이스가 하나의 질문과 하나의 답변으로만 구성된 단일 턴 평가였기 때문이다. 실제로 필요했던 것은 15~20턴짜리 대화 전체에서 챗봇이 일관성을 유지하는지를 확인하는 평가였다.
팀은 대화 전체를 으로 만들어 통째로 채점해야 하는지, 아니면 각 턴을 개별적으로 평가한 뒤 결과를 합산해야 하는지 등 멀티턴 평가를 어떻게 설계해야 할지 방법을 아직 찾지 못한 상태다.
핵심 포인트
- 챗봇이 대화 시작 후 약 5턴까지는 정상 작동하다가 그 이후 일관성이 무너짐
- 이전에 언급한 제약을 잊거나, 과거 발언과 모순되거나, 관련 맥락을 무시하는 증상이 나타남
- 기반 평가에서 계속 품질 기준을 통과했지만 문제를 못 잡아냄 — 테스트가 거의 전부 단일 턴(질문-답변) 형태였기 때문
- 실제로 필요한 건 15~20턴짜리 전체 대화에서의 일관성 평가
- 대화 전체를 통째로 채점할지, 턴별로 채점 후 합산할지 등 멀티턴 평가 설계 방법은 아직 불명확