LLMSim, AI 앱 부하 테스트 비용을 줄이는 모의 서버
LLMSim은 실제 을 부르지 않고도 , AI 비서, 질의응답 패널, 고객지원 채팅 같은 서비스의 를 해볼 수 있게 해주는 도구다. 실제 모델 호출 대신 가짜 응답을 보내므로 테스트 중 발생하는 추론 비용을 줄이는 데 초점이 있다.
OpenAI Completions, Open, 형태를 지원해 기존 클라이언트를 크게 바꾸지 않고 연결할 수 있다. 응답 스트리밍, 지연 시간, 첫 토큰까지 걸리는 시간, 제한, 초당 요청 수 제한 같은 실제 API의 동작 특성을 흉내 내려 한다.
Rust 라이브러리로도 쓸 수 있고, 하나의 실행 파일 서버로도 띄울 수 있다. 서버 실행 예시는 `cargo install llmsim --features tui`로 설치한 뒤 `llmsim serve` 명령으로 포트와 응답 토큰 수 등을 지정하고, 클라이언트가 `http://:8080/openai/v1`로 보내는 방식이다.
핵심 포인트
- LLMSim은 실제 모델 호출 없이 처럼 응답하는 모의 서버다.
- , AI 비서, 고객지원 채팅의 비용을 줄이는 데 쓰인다.
- OpenAI Completions, Open, 를 흉내 낸다.
- 스트리밍, 지연 시간, 첫 토큰까지 걸리는 시간, , 초당 요청 수 제한을 시뮬레이션한다.
- Rust 라이브러리 또는 단일 서버 실행 파일로 사용할 수 있다.