AI 에이전트, 웹 찾기는 잘해도 마지막 단계에서 자꾸 멈춘다
실제 웹사이트에서 결제, 회원가입, 긴 신청서 작성 같은 작업을 끝까지 완료시키는 에이전트를 만들다 보면, 원하는 페이지를 찾는 것 자체는 이제 거의 문제가 되지 않는다. 문제는 '완료'다. 보통 6단계짜리 흐름이라면 4번째 단계쯤에서 입력값 오류가 이상하게 뜨거나, 팝업창이 갑자기 포커스를 가져가거나, 중간에 인 화면이 튀어나오면서 전체 작업이 멈춰버린다.
더 골치 아픈 점은 이게 항상 같은 자리에서 실패하는 게 아니라는 것이다. 똑같은 흐름인데 어떤 실행에서는 성공하고 바로 다음 실행에서는 실패하며, 겉보기에 달라진 게 전혀 없다. 여기에 더해 에이전트가 남기는 자체를 믿을 수 없다는 문제도 있다.
실제로는 양식이 제출되지 않았는데도 에이전트는 태연하게 '완료했다'고 보고한다. 그래서 실제로 작업이 성공했는지 확인하는 데 상당한 시간을 따로 써야 한다.
핵심 포인트
- 웹에서 정보나 페이지를 '찾는' 작업은 이제 거의 안정적으로 해결됨
- 결제·가입·인 등 여러 단계로 이어지는 용 우에서 중간에 실패가 자주 발생
- 같은 흐름도 실행마다 성공/실패가 달라지는 비일관성이 문제
- 에이전트가 실패했는데도 스스로 '완료'라고 잘못 보고하는 경우가 있어 별도 이 필요