상태 없는 챗봇의 긴 대화 기억 한계를 재는 방법
챗봇은 별도의 시스템 없이 대화 내용을 현재 입력 안에서만 처리한다. 긴 대화 초반에 중요한 사실을 넣고, 그 뒤로 관련 없는 메시지를 수백 차례 이어간 다음, 나중에 그 사실을 제대로 기억하는지 확인하는 평가 방식이 제안됐다.
핵심 측정 대상은 대화가 길어질수록 기억 정확도가 어떻게 떨어지는지다. 더 탄탄한 평가를 위해 긴 문맥 기억 한계를 재는 방식이 타당한지, 이미 쓰이는 더 나은 벤치마크나 방법이 있는지, 어떤 지표를 써야 설득력이 커지는지가 검토 대상이다.
핵심 포인트
- 없이 API만 쓰는 챗봇을 대상으로 한다.
- 긴 대화 초반에 중요한 사실을 넣고, 뒤에 관련 없는 대화를 많이 이어간다.
- 나중에 초반 사실을 다시 물어 기억 정확도를 측정한다.
- 대화 길이가 늘어날수록 기억이 얼마나 약해지는지 보려는 실험이다.
- 더 좋은 벤치마크와 지표가 있는지 검토가 필요하다.