로컬 AI 에이전트가 달력 화면을 얼마나 잘 읽는지 재는 공개 실험
VCCB는 달력의 주간 화면 이미지를 AI 모델에 보여주고, 일정 제목, 시작 시간, 끝 시간이나 길이, 겹치는 일정, 반복 일정, 하루 종일 또는 여러 날 이어지는 일정을 로 뽑게 하는 벤치마크다. 만든 계기는 가 화면 사진에서 달력 일정을 다시 만들 때 시간을 15~30분 틀리거나, 모든 일정을 1시간짜리로 처리하거나, 옆 날짜에 중복 일정을 만드는 문제가 자주 났기 때문이다. 같은 주간 달력을 , HCL Notes, 세 프로그램에서 만들고, 각 화면을 깨끗한 스크린샷, 정면 사진, 약 15도 비스듬한 사진으로 준비해 한 번 실행할 때 9장의 이미지를 쓴다.
점수는 프로그램마다 화면 표현 방식이 달라서 각 프로그램 기준에 맞춰 100% 만점으로 계산한다. 초기 결과는 사람은 약 99%, 같은 상위 상용 모델은 약 80~85%, ChatGPT 무료급 모델은 약 75%, 로컬 모델과 는 약 38~58% 수준이었다. 핵심 관심사는 같은 모델이라도 양자화 수준이 달라질 때 정확도가 얼마나 떨어지는지다.
이미지, 프롬프트, 실행 스크립트, 채점기, 정답표, 결과는 에 공개되어 있고, 로컬 모델 사용자는 자신이 실제로 쓰는 모델과 설정으로 결과를 제출할 수 있다.
핵심 포인트
- 달력 주간 화면 9장을 AI 모델에 보여주고 일정 정보를 로 뽑게 한다.
- 초기 결과에서 사람은 약 99%, 상위 상용 모델은 약 80~85%, 로컬 모델은 약 38~58% 수준이었다.
- 는 일정 시간, 일정 길이, 날짜 배치를 틀리는 문제가 있었다.
- 가장 중요한 질문은 양자화가 로컬 모델의 화면 이해 정확도를 얼마나 낮추는지다.
- 에 이미지, 프롬프트, 채점기, 정답표가 공개되어 재현과 제출이 가능하다.