EU AI法 조문을 933개 조각으로 잘라 임베딩한 검색용 데이터셋 공개
(Regulation (EU) 2024/1689, EU 인공지능법) 규정 원문을 와 법률 텍스트 분석 실험용으로 가공한 데이터셋이 공개되었습니다. 기존처럼 글자 수 기준으로 무작정 잘라내는 대신, 조문 구조(조 항목별, 전문 문단별, 제3조 정의별, 부속서 항목별)를 그대로 살려서 잘랐고, 장·절·조항 메타데이터는 따로 저장했습니다.
최종 파일 하나에 933개 조각과 각 조각의 1024차원 BGE-M3 임베딩이 들어 있으며, EUR-Lex 원문 링크, 제113조 적용일 메타데이터, 좁게 정의한 분류 라벨도 포함됩니다. 직접적인 텍스트 분류와 더 넓은 규제 체계 연관성은 따로 저장했고, 애매한 경우는 값을 비워뒀습니다.
AI Act E 로 평가한 결과, 구조 기반 조각화가 시나리오 조문 검색(article @20)에서 0.541로 기존 방식(0.449)보다 우수했고, QA 조문 히트율(hit@10)도 0.927 대 0.898로 앞섰습니다. 다만 전체 RAG 분류 정확도는 구조 기반 방식이 오히려 약간 낮았는데, 이는 조각을 나누는 방식보다 생성 모델 자체의 동작이 이 작업 결과를 더 크게 좌우함을 시사합니다.
핵심 포인트
- 원문을 조 항목·전문·정의·부속서 단위로 구조 기반 분할, 총 933개 조각
- 각 조각에 1024차원 BGE-M3 임베딩을 계산해 파일 하나로 배포
- EUR-Lex 링크와 제113조 적용일 메타데이터 포함, 애매한 분류는 NULL 처리
- 구조 기반 분할이 조문 검색 정확도(@20, hit@10)에서 기존 방식보다 우수
- 전체 RAG 분류 정확도는 오히려 소폭 하락 — 생성 모델 성능이 더 큰 변수