화면 좌표 그리드로 클릭 위치를 잡는 데스크톱 자동화 에이전트
Rosply라는 에이전트는 화면 요소를 코드(DOM)에서 읽는 대신, 스크린샷 위에 좌표 그리드를 겹쳐서 어디를 클릭할지 판단한다. 화면 캡처 후 Qwen VL이나 GPT 계열 같은 이 그 이미지를 보고 이유를 추론한 다음, 마우스나 키보드로 실제 동작을 수행하고 이 과정을 반복한다.
정확도를 높이기 위해 처음엔 화면을 크게 나눠 대략적인 위치를 잡고 점점 세밀하게 좁혀가는 방식()을 쓰고, 같은 동작을 반복하는 루프에 갇히는 것을 감지하는 기능도 넣었다. 소스코드가 공개되어 있고 로컬에서 실행된다.
핵심 포인트
- Rosply는 DOM 스크래핑 대신 스크린샷+좌표 그리드로 화면 요소 위치를 파악한다
- Qwen VL, GPT 계열 등 을 사용해 화면을 보고 클릭할 곳을 판단한다
- 스크린샷 → 추론 → 마우스/키보드 동작 → 반복의 루프 구조
- 클릭 정확도를 위해 대략적인 위치에서 세밀한 위치로 좁혀가는 방식을 적용
- 같은 동작이 반복되는 루프를 감지하는 기능을 넣었다