AI 에이전트에는 똑똑한 모델보다 실행 안전장치가 필요하다
뉴욕에서 열린 Vercel Ship 26은 를 실제 업무에 쓰려면 모델 성능만으로는 부족하다는 점을 보여준다. 는 단순한 챗봇을 돕는 단계에서, 스스로 일을 처리하는 에이전트를 받치는 방향으로 옮겨가고 있다. 그래서 에이전트가 코드를 실행하고, 제한된 환경 안에서 움직이고, 지금 무엇을 하는지 사용자에게 보여주고, 중요한 행동 전에는 사람의 확인을 받는 구조가 필요하다.
행사에는 창업자, 개발자, 투자자, 제품팀이 모였고 Anthropic, Slack, Notion, Stripe, 같은 회사가 세션에 참여했다. 핵심 관심사는 , 통제된 환경, , 사람의 감독처럼 에이전트를 안전하고 믿을 수 있게 만드는 기반이었다.
핵심 포인트
- 는 단순 챗봇보다 더 많은 실행 권한과 가 필요하다.
- 모델을 더 똑똑하게 만드는 것만으로는 실제 업무용 에이전트를 만들기 어렵다.
- 과 통제된 환경은 에이전트가 위험한 작업을 마음대로 하지 못하게 돕는다.
- 과 사람의 감독은 사용자가 에이전트의 행동을 확인하고 막을 수 있게 한다.
- Anthropic, Slack, Notion, Stripe, 등 여러 회사가 관련 논의에 참여했다.