허미스 에이전트가 예전만큼 똑똑하지 않다는 사용자 경험담
사용자가 허미스 에이전트를 처음 설치했을 때는 최소한의 지시만으로도 스스로 정보를 찾아 작업을 완수할 만큼 뛰어났다. 예를 들어 API나 봇을 쓸 수 없는 서비스에서, 이메일을 주고받아 안에 커뮤니케이션 를 재구성하는 해결책을 대략적인 설명만으로 스스로 찾아내 구현했다.
하지만 시간이 지나면서 을 확인하다가 비효율적인 모델 사용과 과도한 때문에 비용이 크게 늘어난 것을 발견했다. 이 문제를 해결하려고 비용 효율화 작업을 시도한 이후부터 상황이 악화됐다.
지금은 에이전트가 세션 안에서는 내용을 기억하지만 에는 남기지 못하고, 자신이 가진 스킬과 도구를 잊어버리며, 특정 작업을 하겠다고 말해놓고도 실제로는 실행하지 않은 채 멈춰 있는 경우가 잦다. 사용자는 무엇을 잘못했는지, 아니면 이것이 원래 정상적인 동작인지 확신하지 못하고 있다.
핵심 포인트
- 초기에는 최소한의 지시만으로도 이메일 기반 커뮤니케이션 를 스스로 구현하는 등 높은 을 보였다
- 점검 중 비효율적인 모델 사용과 많은 으로 인한 비용 급증을 발견했다
- 비용 효율화 작업을 시도한 이후 에이전트 성능이 저하되기 시작했다
- 현재는 세션 내 기억은 하지만 에는 남기지 못하고, 보유한 스킬·도구를 잊는 문제가 있다
- 작업을 하겠다고 말해놓고 실제로는 실행하지 않은 채 멈춰있는 경우가 반복된다