의료 기록용 8개 LLM 비교: 환각보다 누락이 더 큰 문제
의료 기록을 대신 작성하는 8개 LLM을 작은 기준 시험으로 비교했다. 시험에는 가상의 의사-환자 대화 300개가 쓰였고, 각 모델은 대화마다 를 만들었다. 총 2,400개 노트를 평가한 결과, 큰 영향을 줄 수 있는 확인된 환각은 12건이었다.
반면 안전에 중요한 정보가 빠진 경우는 520건이었다. 이 시험에서는 틀린 내용을 지어내는 문제보다, 꼭 들어가야 할 내용을 빼먹는 문제가 훨씬 자주 나타났다. -mini는 비용과 속도에 비해 결과가 좋았다.
과 은 문장 품질이 강했지만, 은 저렴하고 글은 잘 쓰는 대신 안전 정보 누락이 많았다. 는 누락이 가장 적었지만 문장 품질은 낮았고, Kimi는 확인된 환각이 0건이었지만 이 설정에서는 느리고 비쌌다.
핵심 포인트
- 8개 LLM이 가상 의사-환자 대화 300개로 시험됐다.
- 총 2,400개 에서 확인된 큰 환각은 12건이었다.
- 안전에 중요한 정보 누락은 520건으로 환각보다 훨씬 많았다.
- -mini는 비용과 속도 대비 성능이 좋았다.
- 저렴하거나 큰 모델이 항상 더 안전하거나 더 좋은 것은 아니었다.