브라우저 에이전트 평가 점수가 실제 성능을 가릴 수 있다
컴퓨터 화면이나 브라우저를 조작하는 는 화면 속 버튼과 아이콘을 정확히 찾아야 한다. , , GTA1 세 가지 화면 이해 모델은 ScreenSpot-v2 기준에서 모두 90%가 넘는 높은 정확도를 보였다. 하지만 실제 사용에 가까운 작은 변화만 줘도 성능이 크게 떨어졌다.
브라우저 확대 비율을 70%로 바꾸거나, 페이지 모양을 조금 바꾸거나, “검색창 위의 아이콘”처럼 위치 관계로 지시하자 정확도가 27~56점 낮아졌다. 실패한 사례를 모아 를 다시 학습시키면 나아질 것처럼 보였지만, 결과는 반대였다. 다시 학습한 모델은 모든 설정에서 보다 나빠졌다.
를 6,500개에서 25,000개로 늘리자 성능 저하는 더 커졌다. 와 실제 실패 데이터가 모두 성능을 해쳤기 때문에, 문제는 데이터 품질 하나가 아니라 학습 방식 자체에 있을 가능성이 크다. ScreenSpot-v2 점수는 거의 변하지 않았기 때문에, 그 기준만 보고 있으면 더 나쁜 모델을 개선된 모델로 착각할 수 있다.
핵심 포인트
- 화면 조작 에이전트용 모델 3종은 ScreenSpot-v2에서 90% 이상을 기록했다.
- 브라우저 확대, 페이지 디자인 변경, 위치 관계 지시 같은 작은 변화로 정확도가 27~56점 떨어졌다.
- 를 실패 사례로 다시 학습시켰지만 모든 설정에서 보다 나빠졌다.
- 를 6,500개에서 25,000개로 늘리자 성능 저하가 더 커졌다.
- 대표 벤치마크만 보면 실제로 나빠진 모델을 좋아졌다고 판단할 위험이 있다.