손글씨 옆에 Claude가 답해주는 오픈소스 캔버스 'PenEcho'

물리학·수학 연구를 할 때 화이트보드와 스타일러스로 작업하다가, 절반쯤 쓴 수식을 채팅창에 옮기려면 타이핑하고 맥락을 설명하는 동안 생각의 흐름이 끊긴다는 문제에서 출발했다. Opus 4.8(특히 fb5)의 향상된 비전 성능을 보고, 모델이 채팅창이 아니라 화이트보드 위에서 직접 만날 수 있지 않을까 하는 아이디어로 PenEcho라는 오픈소스 캔버스를 만들었다. 이 캔버스에서는 손으로 수식을 쓰고, 도표를 그리고, 메모를 원하는 위치에 자유롭게 배치할 수 있다.

손을 멈추면 캔버스에서 관련된 부분만 모델로 전송되고, 답변은 수정 가능한 초안 형태로 작업물 옆에 나타난다. 답변은 특정 단계를 설명하거나, 아이디어를 이어가거나, 가능한 실수를 짚어주는 역할을 하며 별도의 채팅창을 열 필요가 없다. 캔버스는 논리적으로 20,000×20,000 크기이지만 실제로는 잉크가 있는 부분에만 512×512 크기의 타일을 할당한다.

요청마다 캔버스 전체가 아니라 잘라낸 시각 정보와 좌표(기하 정보)만 전송되며, 평소 사용 기준으로 입력 토큰 수천 개, 출력 토큰 1,000개 미만 정도로 사용 모델과 제공사에 따라 비용은 몇 센트 이하로 든다.