앱을 직접 조작하는 안드로이드 비서 Marvis
Marvis는 안드로이드 휴대폰에서 실제 앱을 눌러 쓰는 다. 사용자가 “스타벅스에서 아이스 라떼 주문해 줘” 또는 “메시지에 있는 주소를 찾아 길 안내를 시작해 줘”처럼 말하면, 앱을 열고 화면을 누르고, 글자를 입력하고, 스크롤하고, 앱을 바꿔 가며 작업을 진행한다. 작업 중에도 “Marvis”라고 부르면 지시를 바꿀 수 있다.
예를 들어 음료 주문 중 “아이스 커피로 바꿔 줘”처럼 수정할 수 있다. 화면을 직접 터치하면 작업이 멈춘다. 메시지 보내기, 결제, 삭제처럼 되돌리기 어려운 행동 전에는 확인을 요청한다.
개발자는 빠른 속도, 정확도, 자연스러운 사용감을 목표로 많은 연구와 구현을 했으며, 과 페이지를 공개했다. 는 를 허용하지 않는다는 이유로 등록을 받아주지 않았다.
핵심 포인트
- Marvis는 을 직접 눌러 조작하는 다.
- 주문, 주소 찾기, 길 안내처럼 여러 앱을 오가는 작업을 처리할 수 있다.
- 작업 중 음성으로 지시를 바꾸거나, 화면 터치로 멈출 수 있다.
- 메시지 전송, 결제, 삭제 같은 위험 행동 전에는 사용자 확인을 받는다.
- 는 를 허용하지 않는다는 이유로 등록을 막았다.