Claude 웹 작업: 화면 보기와 브라우저 구조 읽기의 비용 차이
로 같은 5개 웹 작업을 시켜 보고, 모델은 그대로 두고 웹페이지를 보는 방식만 바꿨다. 하나는 화면 픽셀을 보고 좌표를 클릭하는 였고, 다른 하나는 페이지 구조인 DOM에 접근하는 였다. 각 작업은 Pass@3 방식으로 비교됐다.
는 같은 수나 더 적은 단계로 끝나는 경우가 많았지만, 한 단계마다 더 많은 문맥을 처리해서 비용이 더 컸다. 5개 중 4개 작업에서는 가 더 많은 클릭을 하더라도 더 쌌다. 예를 들어 책 UPC 찾기는 가 4단계에 0.40달러, 가 3단계에 0.79달러였고, 위키백과 조회는 각각 5단계 0.53달러와 4단계 1.28달러였다.
티셔츠 구매 작업도 가 17단계 4.01달러, 가 20~25단계 7.41달러로 더 비쌌다. 다만 비슷한 상품이 많은 촘촘한 상품 목록에서 장바구니 버튼을 찾는 작업은 가 DOM으로 대상을 찾아 4~5단계와 1.22달러에 끝냈고, 는 16단계와 3.74달러가 들었다.
핵심 포인트
- 로 같은 5개 웹 작업을 비교했다.
- 는 화면 픽셀을 보고 좌표를 클릭하는 방식이다.
- 는 DOM을 읽어 페이지 안의 요소를 직접 찾는 방식이다.
- 5개 중 4개 작업에서는 가 더 많은 단계에도 비용이 낮았다.
- 비슷한 상품이 많은 상품 목록에서는 가 훨씬 적은 단계와 낮은 비용으로 끝냈다.