quicktok, 토큰화 속도를 크게 높인 새 도구
quicktok은 에 넣을 글을 토큰으로 나누는 작업을 더 빠르게 처리하는 도구다. C++로 만들어졌고, OpenAI의 과 같은 입력에 대해 같은 토큰 번호를 내도록 맞춰졌다. 개발자가 공개한 실험에서는 애플 M1 칩의 단일 스레드 기준으로 quicktok의 기본 버전이 파이썬 버전보다 약 4~11배 빨랐다.
bpe-openai보다도 약 2~3.6배 빠른 결과가 나왔다. cl100k, o200k, , -3, /3 같은 여러 토큰 체계를 함께 제공한다. 속도를 높이기 위해 자주 쓰는 확인 결과를 캐시에 저장하고, 긴 글자를 찾는 구조를 단순화하며, 일반 정규식 엔진 대신 직접 만든 전처리 방식을 썼다.
실험 결과는 저장소에서 make bench-compare 명령으로 다시 확인할 수 있다.
핵심 포인트
- quicktok은 글을 토큰으로 나누는 토큰화 도구다.
- 과 같은 토큰 번호가 나오도록 맞춰졌다.
- 공개 실험에서 파이썬 버전보다 약 4~11배 빨랐다.
- cl100k, o200k, , -3, /3 토큰 체계를 제공한다.
- 대량 문서 처리나 에이전트 비용 계산 파이프라인에서 시간을 줄일 수 있다.