코드용 검색 묶음이 토큰 낭비를 크게 줄였다는 실험
와 대화하는 도구는 보통 코드를 작은 조각으로 나누고, 각 조각을 벡터로 바꾼 뒤, 질문과 가장 비슷한 조각을 찾아 줍니다. archex는 이 방식만 쓰지 않고, 정확한 이름 찾기와 의미 기반 찾기를 함께 사용해 후보를 모읍니다.
그다음 후보를 다시 순서대로 정리하고, 가져온 파일의 까지 따라가며 필요한 주변 코드를 함께 묶습니다. 이렇게 만든 결과는 단순한 검색 결과 목록이 아니라, 에이전트가 바로 작업에 쓸 수 있는 코드 묶음입니다.
외부 19개 작업에서 임베딩만 쓰는 cocoin-code와 비교했을 때, 재현율은 0.95 대 0.32, 정밀도는 0.51 대 0.36, F1은 0.66 대 0.31로 더 높았습니다. 도 0.76 대 0.48로 높았고, 에이전트가 작업을 끝내기 위해 추가로 써야 한 토큰은 922개 대 11,188개로 크게 줄었습니다.
핵심 포인트
- 정확한 단어 검색과 을 함께 써서 코드 후보를 찾습니다.
- 가져온 코드의 를 따라가며 필요한 주변 파일도 함께 묶습니다.
- 외부 19개 작업에서 임베딩만 쓰는 방식보다 재현율, 정밀도, F1이 모두 높았습니다.
- 에이전트가 추가로 써야 한 토큰이 11,188개에서 922개로 줄었다는 비교 수치가 제시됐습니다.
- 코드 작업 에이전트의 비용 절감은 검색 방식보다 문맥 조립 품질에 크게 좌우될 수 있습니다.