기기 제어 AI 에이전트의 환각을 줄이는 설계 고민

로 조명, 선풍기, 에어컨, 커튼 같은 사물인터넷 기기를 직접 제어하는 를 만들고 있다. 큰 모델을 쓰면 더 안정적일 수 있지만, 응답이 느려지는 문제가 있다.

현재 시스템은 여러 도구 호출, 한 번에 여러 행동 처리, 한 문장 안의 여러 의도 처리, 일반 대화, , 실행 전 백엔드 검증을 지원한다. 예를 들어 침실 조명을 켜고 밝기를 70%로 맞추거나, 커튼을 닫고 에어컨을 끄며 내일 날씨까지 알려주는 요청을 처리해야 한다.

문제는 모델이 잘못된 도구를 고르거나, 틀린 매개변수를 만들거나, 존재하지 않는 기기에 명령을 내리거나, 기기 제어와 일반 질문이 섞이면 혼란스러워한다는 점이다. 해결 방향으로 모든 요청을 모든 도구가 열린 큰 언어 모델에 바로 보내는 방식, 앞에 layer를 두는 방식, 시스템을 더 작은 전문 영역으로 나누는 방식이 검토되고 있다.

핵심 포인트

  • 같은 로 실제 기기를 제어하려 하고 있다.
  • 큰 모델은 더 나을 수 있지만 응답 지연 문제가 있어 바로 쓰기 어렵다.
  • 현재 시스템은 여러 도구 호출, 여러 행동, 여러 의도, JSON 출력, 백엔드 검증을 지원한다.
  • 주요 문제는 잘못된 도구 선택, 틀린 매개변수, 없는 기기 제어 시도, 복합 요청에서의 혼란이다.
  • 검토 중인 방향은 큰 모델에 직접 보내기, layer 추가, 전문 영역별 분리다.
원문 보기