실서비스 Text2SQL의 핵심 과제는 오답을 찾아내는 평가
은 일상 언어로 받은 질문을 조회문으로 바꾸지만, 실제 서비스에서는 그럴듯한 오답을 알아내기가 어렵다. 올바른 질문과 답을 모은 기준 자료를 얼마나 많이 만들고 얼마나 자주 갱신해야 하는지에 대해서도 뚜렷한 답이 없다. 생성된 조회문을 정답과 글자 그대로 비교하면, 표현만 다르고 결과는 같은 올바른 조회문까지 오답으로 처리할 수 있다.
실제 조회 결과가 같은지 매번 확인하는 방식은 규모가 커질수록 비용과 시간이 많이 든다. 사람의 검토를 섞는 방법도 있지만 이 생긴다. 특히 조회가 정상 실행되고 그럴듯한 숫자를 반환했지만 업무상 의미는 틀린 경우를 잡는 것이 가장 까다롭다.
질문이 모호하거나 시스템의 확신이 낮을 때 재질문, 검토 요청, 답변 거부 중 무엇을 선택할지도 정해야 한다. 같은 도구도 조회문, 조회 결과, 실제 업무 의도 가운데 어느 수준에서 정확성을 판단할지 명확한 운영 기준이 필요하다.
핵심 포인트
- 같은 정답을 내는 조회문도 여러 방식으로 작성할 수 있어 글자 그대로의 비교는 지나치게 엄격할 수 있다.
- 조회 결과를 직접 비교하면 더 현실적으로 평가할 수 있지만 대규모 운영에서는 비용이 커질 수 있다.
- 정상 실행된 조회문도 업무 의도와 다른 그럴듯한 숫자를 반환할 수 있다.
- 모호하거나 확신이 낮은 질문을 재질문이나 사람 검토로 넘기는 기준이 필요하다.
- 전체 비용에는 토큰 사용료 외에 기준 자료 갱신, 조회 실행, 사람 검토가 포함된다.