작은 반복형 검색 모델이 어려운 문서 찾기에서 성능을 올림
HRM이라는 반복형 구조를 문서 검색 모델에 적용한 실험이다. 목표는 단순히 비슷한 단어가 들어간 문서를 찾는 것이 아니라, 몇 단계의 생각을 거쳐 맞는 문서를 찾아야 하는 기준에서 성능을 높이는 것이었다. 이 모델은 약 6억 개 로 작고, Ti 8GB 한 장에서 학습됐다.
12개 영역의 평균 점수는 기본 방식 18.1에서, 질문을 다시 쓰는 방식 34.3, 결과를 합친 방식 33.7로 올라갔다. 반복 횟수를 줄이면 pony 영역에서 정확도가 매번 떨어져, 반복해서 내부 상태를 다시 살피는 구조가 추론형 검색에 도움이 된 것으로 보인다. 한계도 뚜렷하다.
바탕 모델은 넓은 지식을 많이 배우도록 학습된 것이 아니라 효율을 위해 적은 텍스트로 학습돼, 지식이 많이 필요한 영역에서는 약했다. 가중치는 으로 공개됐고, 전체 평가 도구도 저장소에 들어 있다.
핵심 포인트
- HRM 구조를 문서 검색 모델에 적용해, 단순 단어 유사도보다 여러 단계의 추론이 필요한 검색을 겨냥했다.
- 약 6억 개 모델을 Ti 8GB 한 장에서 학습했다.
- 12개 영역 평균 은 기본 18.1, 질문 재작성 34.3, 병합 33.7이었다.
- 반복 횟수를 줄이면 pony 영역의 정확도가 계속 낮아져, 반복 구조가 성능에 영향을 준 것으로 보인다.
- 가중치는 으로 공개됐고, 평가 도구도 함께 공개됐다.