LLM 관찰 도구 48개를 한곳에 모은 공개 목록
Jet-ai의 공개 `awesome-llm-observability`는 LLM 관찰과 평가에 쓰는 도구 48개를 정리한다. 범위에는 실행 추적, 평가, 프롬프트 관리, 게이트웨이, 연결, 안전장치 도구가 포함된다.
각 도구에는 현재 깃허브 별 수와 라이선스 정보가 붙어 있다. 주요 플랫폼은 직접 설치 가능 여부, 라이선스, 추적 지원, 평가 지원, 지원 여부를 비교표로 볼 수 있다.
에 바로 쓸 수 있는 예시도 포함되어 있으며, 추적 붙이기, 평가 추가하기, 실행 기록으로 문제 찾기, 개인정보를 보호하는 추적 같은 작업을 다룬다. 최소 기능의 GenAI 추적 예제도 함께 제공된다.
핵심 포인트
- LLM 관찰 도구 48개를 한 저장소에 정리했다.
- 분야는 추적, 평가, 프롬프트 관리, 게이트웨이, , 안전장치로 나뉜다.
- 도구별 깃허브 별 수와 라이선스 정보를 함께 볼 수 있다.
- 주요 플랫폼은 직접 설치 가능 여부와 기능 지원 여부를 비교표로 확인할 수 있다.
- , 평가 추가, 실행 기록 기반 디버깅, 추적 예시가 포함된다.