기업용 AI 에이전트 운영 도구를 한 번에 묶은 오픈소스 공개
기업이 AI 앱과 에이전트를 안전하게 만들고 운영하는 데 필요한 여러 오픈소스 도구를 하나의 구성으로 묶었다. 도커 컴포즈 명령 한 번으로 모델 연결, 개인정보 삭제, 공격성 입력 차단, 비밀정보 관리, 실행 추적, 감사 기록, 데이터 출처 확인, 벡터 검색 등을 함께 실행하는 방식이다. LiteLLM은 사내 또는 외부의 여러 AI 모델을 하나의 호환 주소로 연결한다.
LLM Guard와 Presidio는 개인정보, 비밀정보, 유해한 내용, 공격을 탐지하거나 가린다. 는 AI 요청과 응답의 흐름을 추적하고, OpenSearch는 감사와 보안 분석 기록을 맡으며, 은 중간에 문제가 생겨도 을 이어갈 수 있게 한다. Qdrant는 에 필요한 벡터 검색을 제공한다.
이 밖에도 데이터 이동과 정리, 저장, 품질 검사, 작업 순서 관리, 결과 평가, 성능 변화 감지를 위해 Airbyte, dbt, , Great Expectations, Kestra, Ragas, Evidently 등을 연결했다. 관리자가 작업 흐름과 를 한 번 설정하면 직원들이 대화형 방식으로 허용된 범위 안에서 앱을 만들도록 하는 응용 계층도 포함한다.
핵심 포인트
- 도커 컴포즈 한 번으로 기업용 AI 운영 도구 묶음을 실행하도록 설계됐다.
- LiteLLM을 통해 사내와 외부의 여러 AI 모델을 하나의 주소로 연결한다.
- 개인정보 삭제, 비밀정보 보호, 유해 입력 차단, 방어 기능을 포함한다.
- 추적, 감사 기록, 데이터 출처, 검색, 평가와 성능 변화 감지를 한 구성에서 다룬다.
- 로 직원별 권한을 정한 뒤 대화형 방식으로 AI 앱을 만들게 한다.