128K 문맥과 RAG를 써도 문서 답변이 부정확한 AnythingLLM 사례
128GB 메모리를 갖춘 컴퓨터에서 과 를 실행했다. 문맥 크기를 약 12만8천 토큰으로 설정하고 여러 파일을 대화창에 직접 넣었지만, 파일 내용에 대한 답변이 매우 부정확했다.
문서를 검색해 필요한 부분만 답변에 활용하는 RAG 방식으로 바꿔도 정확도가 나아지지 않았다. 원인이 무엇인지와 정확한 답변을 얻기 위한 설정 방법은 아직 확인되지 않았다.
핵심 포인트
- 은 128GB 메모리의 에서 와 함께 실행됐다.
- 문맥 크기를 약 12만8천 토큰으로 설정했다.
- 여러 파일을 대화창에 직접 넣었지만 답변이 매우 부정확했다.
- RAG 방식으로 바꿔도 정확도가 개선되지 않았다.
- 구체적인 원인이나 해결 방법은 아직 제시되지 않았다.