VLM의 위치 판단은 체스판으로 먼저 검증할 만하다
으로 이미지 속 물체의 좌표, 배치, 위치처럼 정확한 구조 정보를 뽑아내는 일은 생각보다 어렵다. 체스판은 빠른 시험 도구가 될 수 있다. 체스 말의 위치를 FEN이라는 정답 문자열로 딱 맞게 표현할 수 있기 때문이다.
여러 모델은 체스 말 자체는 알아보지만, FEN을 만들 때 말의 칸 위치를 틀리는 경우가 있다. 즉 이미지를 보는 능력은 괜찮아도, 그 정보를 정확한 로 바꾸는 능력은 별개의 문제다. 모델끼리만 비교하는 것보다 , , 채점 방식까지 포함한 전체 설정을 비교하는 편이 더 현실적이다.
VideoDB Labs는 이런 검증을 위한 평가 도구를 로 공개했다.
핵심 포인트
- 은 이미지를 이해해도 좌표와 위치를 정확히 출력하지 못할 수 있다.
- 체스판은 정답이 명확해서 위치 판단 능력을 빠르게 시험하기 좋다.
- FEN은 체스 말의 배치를 문자열 하나로 표현하는 기준 답안으로 쓸 수 있다.
- 만 비교하지 말고 , , 채점 방식까지 함께 비교해야 한다.
- VideoDB Labs가 관련 평가 도구를 로 공개했다.