프롬프트 순서만 바꿔도 LLM 비용이 줄 수 있다
은 같은 앞부분을 다시 보낼 때 비용을 줄여 주는 방식이다. 하지만 주요 제공사들은 이 기능을 가격표, 문서, API 안내에 흩어 놓아 실제 서비스 비용에 미치는 영향을 쉽게 알기 어렵다. 거의 같은 내용의 프롬프트라도 순서가 다르면 실행 비용이 크게 달라질 수 있다.
사용자 질문, 변수, 시간 정보, 요청마다 바뀌는 메타데이터를 앞에 두면 캐시가 기대하는 가 깨질 수 있다. 실무 규칙은 반복되는 내용을 먼저 두는 것이다. , 고정 규칙, 예시, 스키마, 출력 형식 요구사항을 앞에 놓고, 사용자 입력과 요청마다 달라지는 데이터는 뒤쪽에 두는 편이 비용 절감에 유리하다.
대규모로 LLM을 쓰는 제품에서는 이런 작은 프롬프트 구조 차이가 과 투자 대비 효과를 크게 바꿀 수 있다.
핵심 포인트
- 은 반복되는 앞부분이 같을 때 비용을 낮출 수 있다.
- 사용자 질문, 변수, 시간 정보, 메타데이터를 앞에 넣으면 캐시 효과가 줄 수 있다.
- , 규칙, 예시, 스키마, 출력 형식은 앞쪽에 두는 편이 좋다.
- 요청마다 바뀌는 입력값은 프롬프트 뒤쪽에 배치하는 것이 실용적이다.
- LLM을 많이 호출하는 에서는 이 구조가 에 직접 영향을 준다.