모바일 앱을 적은 토큰으로 조작하게 돕는 sim-use
sim-use는 가 아이폰 시뮬레이터와 안드로이드 에뮬레이터 또는 실제 기기 화면을 읽고 조작하게 해주는 다. 화면 전체를 긴 원본 데이터로 보내는 대신, 버튼과 입력칸 같은 요소를 짧은 목록으로 바꿔 보여준다. 이 방식은 원본 접근성 트리보다 약 16배 더 작아서, 이 한 화면을 이해하는 데 쓰는 토큰을 줄일 수 있다.
에이전트는 먼저 `sim-use ui`로 화면을 읽고, `tap @9`처럼 번호가 붙은 요소를 눌러 행동한 뒤, 다시 화면을 읽어 결과를 확인한다. 좌표를 직접 찍을 수도 있지만, 빠른 번호, 안정적인 아이디, 화면에 보이는 글자 같은 여러 선택 방식도 쓸 수 있다. 첫 실행 뒤에는 기기별 이 초기화 비용을 줄여, 한 번의 읽기와 조작 흐름이 약 300밀리초 안에 끝난다고 밝힌다.
iOS와 를 같은 명령 형태로 다룰 수 있고, 탭, 스와이프, 글자 입력, 붙여넣기, 스크린샷, 동영상 녹화 같은 작업을 지원한다. 설치는 로 할 수 있으며, AI 클라이언트가 이 도구 사용법을 배우도록 돕는 도 함께 제공한다.
핵심 포인트
- 가 와 기기 화면을 읽고 조작하게 해준다.
- 화면 정보를 짧은 목록으로 바꿔 원본 접근성 트리보다 약 16배 작게 만든다.
- `ui`로 화면을 읽고 `tap @9`처럼 번호로 버튼이나 항목을 누를 수 있다.
- 첫 실행 뒤에는 읽기와 조작 한 차례가 약 300밀리초 안에 끝난다고 밝힌다.
- 탭, 스와이프, 글자 입력, 붙여넣기, 스크린샷, 동영상 녹화를 지원한다.