공개 의료 데이터에서 RAG가 거대 LLM을 이길 수 있을까
의료 문헌 1만 편 단위로 RAG(검색 후 생성) 시스템을 구축해 운영한 경험담이다. ( 도구)와 UMLS(의료 용어 표준 )를 결합하는 방식도 시도했지만, 실제 서비스에는 단순한 방식의 RAG를 사용했다. 몇 달간 고객에게 서비스를 제공한 결과, 고객은 이 도구가 ChatGPT보다 못하다고 평가했다.
이유는 두 가지였다. 첫째, 응답 속도가 느려 답변 생성에 2~3분이 걸렸다. 둘째, 결과물이 ChatGPT보다 특별히 의학적으로 더 정확하거나 뛰어나다는 느낌을 주지 못했다.
이 경험을 바탕으로 공개된 데이터에 대해 RAG 기술이 이미 그 데이터를 학습한 최신 LLM을 정말 이길 수 있는지에 대한 근본적인 질문을 던지고 있다.
핵심 포인트
- 의료 문헌 1만 편 규모 코퍼스에 단순한 방식의 RAG를 적용해 운영함
- 와 UMLS(의료 용어 표준)를 결합하는 방식도 시험함
- 고객은 결과물이 ChatGPT보다 낫다고 느끼지 못했음
- 응답 생성에 2~3분이 걸려 속도 면에서도 불리했음
- 에서는 RAG가 이미 그 데이터를 학습한 프론티어 LLM을 이기기 어려울 수 있음