LLMpress, 큰 코드 전송 토큰을 줄이는 실험 도구
LLMpress는 LLM에 보내는 를 줄이면서 전달되는 정보량은 최대한 유지하려는 도구다. 목표는 새로운 압축 방식을 만드는 것이 아니라, 이미 쓰이는 압축 기법을 LLM 작업에 맞게 묶는 데 있다.
코드에서는 언어별 축소 처리를 사용해 공백, 긴 이름, 불필요한 형태를 줄이고, 가능하면 원래 코드 위치를 찾을 수 있는 대응 정보도 남긴다. 선택적으로 압축도 붙일 수 있다.
AST를 이용해 코드 구조를 이해한 뒤 더 세게 줄이면서도, 나중에 사람이 읽기 쉬운 원본 코드와 다시 연결하는 방향을 잡고 있다. 장기 목표는 를 자주 LLM에 보내는 흐름에서 입력 크기와 비용 부담을 낮추는 것이다.
핵심 포인트
- LLMpress는 LLM에 보내는 를 줄이는 도구다.
- 주요 대상은 를 자주 보내는 작업이다.
- 언어별 코드 축소 처리와 선택적 압축을 사용한다.
- AST를 이용해 줄인 코드와 원본 코드를 다시 연결하려는 설계다.
- 비용 절감 가능성은 있지만 실제 품질 검증이 더 필요하다.