실제 지저분한 데이터로 만든 RAG와 200달러 비용 경험
Permit IQ는 정리된 시험용 데이터가 아니라 형식이 제각각이고 다루기 어려운 실제 데이터를 써서 만든 RAG 시스템이다. 목표는 검색으로 관련 자료를 찾고, 이 그 자료를 바탕으로 답을 만드는 과정을 깊게 배우는 것이었다.
이 시스템은 현재 에서 돌아가고 있다. 취미 프로젝트인데도 이미 약 200달러가 들었고, 실제 서비스처럼 RAG를 운영하면 비용이 생각보다 빨리 커질 수 있다는 점이 드러났다.
다음 개선 방향은 답변 품질을 높이기 위한 평가 방법, 더 나은 검색 전략, 재정렬, 문서 쪼개기 방식이다. 비용을 줄이기 위해 에서 제공하는 에만 의존하지 않고, 모델을 하는 방안도 검토하고 있다.
핵심 포인트
- Permit IQ는 지저분하고 일관성 없는 실제 데이터를 사용한 RAG 시스템이다.
- 현재 시스템은 에서 운영되고 있다.
- 취미 프로젝트 수준에서도 약 200달러의 비용이 발생했다.
- 답변 품질 개선 대상으로 평가 방법, 검색 전략, 재정렬, 문서 쪼개기가 언급됐다.
- 비용 절감을 위해 모델을 하는 방법을 검토하고 있다.