45,000명이 쓰는 AI 에이전트 운영하며 배운 5가지
한 개발자가 만든 가 누적 45,000명에게 서비스됐고, 메시지 750만 건, 호출 73만5천 건을 처리했다. 이 규모로 운영하며 얻은 교훈은 다음과 같다. 첫째, 실제 대화 로그를 직접 읽는 것은 대체 불가능하다.
로그는 해서 보는데, 실제 사용자들은 테스트나 평가()로는 절대 발견할 수 없는 수많은 케이스를 만들어내기 때문에, 로그를 읽어야 무엇을 고치고 무엇을 추가하고 무엇을 그냥 둘지 판단할 수 있다. 둘째, 에이전트를 관리하는 일은 사람을 관리하는 것과 매우 비슷하다. 응답이 뜸해진 사용자에게 다시 연락하기, 특정 요청을 다르게 처리하기, 말투를 부드럽게 하기 같은 걸 지시하면 에이전트가 실행하고, 이후 로그로 결과를 확인하는 식이다.
모든 대화에 적용할 보편적 지침도 있고 특정 고객에게만 해당하는 지침도 있는데, 이 둘을 다 맞추는 게 실제 업무의 핵심이며 사람 관리처럼 끝이 없는 과정이다. 셋째, 일부 사용자는 에이전트와 로맨틱한 관계를 시도하려 하며, 이런 시도는 어느 정도까지만 막을 수 있다(원문이 이 부분에서 끊겨 자세한 대응책은 확인되지 않음).
핵심 포인트
- 가 누적 45,000명에게 서비스, 메시지 750만 건·호출 73만5천 건 처리
- 된 실제 대화 로그를 읽는 것이 평가()나 QA보다 문제 발견에 효과적
- 에이전트 관리는 사람 관리와 비슷 — 보편적 지침과 고객별 지침을 함께 조정해야 함
- 지시 → 실행 → 로그로 결과 확인하는 사이클이 반복되며 끝나지 않는 작업
- 일부 사용자가 에이전트와 로맨틱한 상호작용을 시도하는 문제가 있고 완전히 막기는 어려움