DRIFT, 여러 언어 코드의 토큰을 자동으로 줄이는 기능 추가
에는 여러 의 코드를 모델에 넣기 전에 자동으로 줄이는 토큰 압축 기능이 추가됐다. 이 기능은 JSON 같은 정해진 형식뿐 아니라 파이썬, , CSS, HTML 코드에도 적용된다. 메모리에서 가져온 코드, 문서에서 긁어온 코드, 작업공간 문맥에 포함된 코드는 에 들어가기 전에 언어별 축소 단계를 거친다.
파이썬에서는 문서 문자열, 줄 안 주석, 불필요한 빈칸과 빈 줄을 제거한다. 와 CSS에서는 한 줄 주석과 여러 줄 주석을 없애고, 코드가 작동하는 구조는 유지하면서 공백과 줄바꿈을 줄인다. HTML에서는 개발자 주석과 태그 사이의 불필요한 공백을 줄이되 는 유지한다.
파이썬, , HTML이 섞인 433자 예시에서는 240자로 줄어 약 44.57% 감소했다.
핵심 포인트
- 는 코드를 에 넣기 전에 자동으로 토큰을 줄인다.
- 파이썬, , CSS, HTML을 지원한다.
- 주석, 문서 문자열, 불필요한 공백과 줄바꿈을 제거하거나 줄인다.
- 혼합 언어 예시에서 433자가 240자로 줄어 약 44.57% 감소했다.
- 가 많은 코드와 문서를 읽을 때 와 비용을 아끼는 데 도움이 될 수 있다.