RAG 답변 오류를 내 컴퓨터에서 추적하는 ContextTrace
는 RAG와 가 조용히 틀리는 문제를 잡기 위한 파이썬 SDK와 CLI다. 이런 시스템은 답변이 자연스럽고 출처도 붙어 있으며 기록도 정상처럼 보여도, 실제로는 일부 주장이 근거가 없거나, 출처와 충돌하거나, 오래된 정보에 기대거나, 엉뚱한 조각에서 나온 내용일 수 있다. 는 질문, 검색된 문맥, 답변 속 주장, 인용, 판정, 근본 원인, 재발 확인 테스트까지 한 흐름으로 추적한다.
질문, 답변, 문맥, 인용, 부가 정보를 담은 이동 가능한 기록을 만들고, 답변의 각 주장이 검색된 근거로 뒷받침되는지 확인한다. 주장은 지원됨, 일부만 지원됨, 지원되지 않음, 모순됨, 확인 불가 같은 상태로 나뉜다. 실제 세상의 진실 여부나 정보가 최신인지와, 답변이 주어진 근거에 제대로 기대고 있는지는 따로 구분한다.
검색 누락, 인용 불일치, 오래된 출처, 문서 조각 나누기 문제, 답변의 과한 추측, 재정렬 실패, 답하지 말았어야 하는 경우 같은 원인도 표시한다. 기본적으로 와 로컬 기록을 사용해 내 컴퓨터에서 돌아가며, , , 연동도 계획되었거나 일부 제공된다.
핵심 포인트
- RAG와 답변에서 근거 없는 주장, 모순, 오래된 출처 문제를 찾는 데 초점을 둔다.
- 질문부터 검색된 문맥, 답변 주장, 인용, 판정, 원인까지 한 흐름으로 기록한다.
- 각 주장을 근거와 대조해 지원됨, 일부만 지원됨, 지원되지 않음, 모순됨, 확인 불가로 나눈다.
- 기본 저장 방식은 기반 로컬 기록이며, 별도 호스팅 대시보드가 중심이 아니다.
- 반복해서 같은 오류가 생기는지 확인하는 테스트와 로컬 보고서를 만들 수 있다.