KV 양자화로 100k 컨텍스트 검색도 꽤 정확했다
를 q4_0 수준으로 낮춰도 긴 문맥 안의 정보를 정확히 찾아냈다. 테스트에서는 안에 들어 있는 내용을 물었고, 답이 맞게 나왔다. 의 KV도 q4_0으로 낮춘 상태였다.
처음 예시는 해리 포터 관련 내용이어서 에 이미 들어 있었을 가능성이 제기됐다. 그래서 더 나중에 이탈리아어로 나온 2026년 책의 덜 알려진 문장을 넣어 다시 확인했다는 설명이 붙었다.
핵심 포인트
- 를 q4_0으로 낮춘 상태에서도 안의 정보를 찾았다.
- 의 KV도 q4_0으로 낮춰 사용했다.
- 처음 예시는 에 이미 있었을 가능성이 있어 신뢰성에 의문이 생겼다.
- 덜 알려진 2026년 이탈리아어 책 문장으로 다시 확인했다.
- 긴 문맥을 쓰는 의 메모리와 절감 가능성과 연결된다.