문서는 제각각인데 JSON 값은 틀리는 추출 문제
200개가 넘는 과거 입찰·제안 자료에서 같은 항목을 뽑아내는 로컬 분석 도구를 만들고 있다. 자료마다 입찰 공고, 제안서, 수상 결과 보고서가 있고, 공공기관별로 표 형식, 긴 글, 엑셀 파일, 깨진 워드 파일처럼 형태가 크게 다르다. 목표는 평가 기준과 배점, 참가자별 점수, 총점과 순위, 가격을 같은 구조의 으로 정리하는 것이다.
, , , 를 쓰며, 와 보안 때문에 데이터는 로컬 또는 유럽 안에서만 처리한다. 문제는 형식은 맞지만 값의 의미가 자주 틀린다는 점이다. 발주기관이 입찰 참가자로 들어가거나, 평가 문장이 참가자 이름으로 잡히거나, VAT 번호가 다른 두 회사를 하나로 합치거나, 100 이하의 점수를 가격으로 저장하는 식이다.
세금 포함·제외 가격이 섞이고, 상위·하위 평가 항목 배점 합계가 100이 아니라 175가 되는 문제도 생긴다.
핵심 포인트
- 문서 형식이 들쭉날쭉해도 같은 구조로 평가 기준, 점수, 순위, 가격을 뽑으려 한다.
- 형식이 맞는 을 받는 것은 쉽지만, 실제 값이 틀리는 문제가 반복된다.
- 발주기관과 참가자, 평가 문장과 참가자 이름, 가격과 점수가 서로 뒤섞인다.
- VAT 번호가 다른 법인을 하나로 합치거나, 세금 포함·제외 가격을 섞는 오류가 생긴다.
- 배점 합계처럼 계산으로 확인 가능한 항목은 별도 가 필요하다.