문서 지식 그래프는 추출보다 검증과 운영이 더 어렵다
기관의 계약서, 규정, 기술 문서에는 조항, 정의, 참조 관계가 많지만 컴퓨터가 바로 믿고 쓰기에는 형태가 제각각이다. LLM은 이런 문서에서 사람, 조직, 규칙, 관계 같은 정보를 뽑아내는 일은 꽤 잘하지만, 그 결과를 곧바로 믿을 수 있는 로 만드는 것은 별개의 문제다. 같은 문서를 다시 읽히거나 모델, 프롬프트, 주변 문맥이 바뀌면 결과가 달라질 수 있다.
처음 정한 온톨로지도 새 문서 유형, 전문가 검토, 다른 팀의 요구 때문에 계속 바뀐다. 그래서 추출 결과는 저장 전에 , 중복 확인, 충돌 확인, 값의 상식적 범위 확인을 거쳐야 한다. 모든 정보에는 원본 문서, 사용한 , 추출 시점, 자동 검증 여부, 사람 검토 여부 같은 출처 추적 정보가 붙어야 한다.
신뢰도가 높은 결과는 바로 저장하고, 애매하거나 충돌이 있는 결과는 사람 검토 대기열로 보내는 방식이 필요하다. 프롬프트, 모델, 스키마가 바뀔 때마다 확인할 수 있는 도 있어야 품질 하락을 빨리 잡을 수 있다.
핵심 포인트
- LLM 추출은 시작일 뿐이며, 를 믿을 수 있게 만드는 검증과 운영이 더 큰 일이다.
- 추출 결과는 저장 전에 , 중복 확인, 충돌 확인, 값의 범위 확인을 거쳐야 한다.
- 모든 노드와 관계에는 원본 문서, , 추출 시점, 검토 상태 같은 출처 추적 정보가 필요하다.
- 온톨로지는 계속 바뀌므로 변경 이력과 을 처럼 관리해야 한다.
- 사람이 고친 사례는 에 추가해 모델 교체나 프롬프트 변경 때 품질을 비교하는 기준으로 써야 한다.