긴 문맥 처리 비용을 줄일 수 있다는 새 어텐션 실험
에서 긴 문맥을 처리할 때 쓰는 어텐션 방식을 바꿔 12만 8천 토큰에서 100만 토큰 길이까지 더 빠르게 돌렸다는 개인 실험 결과가 나왔다. 의 촘촘한 어텐션 층을 완전히 빼고 새 어텐션으로 대체한 뒤, 계산량, 실제 , , 검색 품질을 비교했다.
12만 8천 토큰 기준으로 어텐션 계산량이 약 42분의 1로 줄었다고 한다. 전체 속도는 조건에 따라 약 6배에서 40배 빨라졌다고 주장한다.
여러 프롬프트로 시험했을 때 원래 모델과 거의 비슷한 성능을 보이면서 계산 부담은 크게 낮았다고 한다. 다만 , 코드 공개, 재현 가능한 벤치마크, 실제 에서의 결과는 아직 확인되지 않았다.
핵심 포인트
- 긴 문맥에서 쓰는 어텐션 방식을 새로 바꿔 속도와 계산량을 줄였다고 주장한다.
- 12만 8천 토큰 기준 어텐션 계산량이 약 42분의 1로 줄었다고 한다.
- 조건에 따라 처리 속도가 약 6배에서 40배 빨라졌다고 한다.
- 와 검색 품질도 비교했으며, 원래 모델과 거의 비슷한 성능이라고 한다.
- 코드, , 실제 에이전트 사용 사례는 아직 확인되지 않았다.