제미나 4 기반 로컬 실행 오픈소스 '마이크로소프트 리콜' 대체 도구 공개
ScreenMind는 화면 활동을 계속 기록해두고 나중에 검색하거나 대화하듯 물어볼 수 있게 해주는 프로그램으로, 를 최우선으로 설계됐다. 클라우드로 데이터를 보내는 대신 비전·음성·추론을 모두 지원하는 몇 안 되는 인 를 컴퓨터 안에서 직접 실행하기 때문에 데이터가 기기 밖으로 나가지 않는다.
하루 동안 어떤 프로그램에 시간을 얼마나 썼는지 추적하고, 화면에 있던 글자로 스크린샷을 검색하며, "디스코드에서 알렉스가 뭐라고 했지" 같은 질문을 하면 과거 화면 기록에서 답을 찾아준다. 코딩을 모르는 사람은 평범한 문장으로, 개발자는 파이썬 코드로 자동화를 만들 수 있어서, 예를 들어 하루 활동 요약을 슬랙으로 보내는 식의 작업도 설정할 수 있다.
단축키 하나로 스크린샷과 함께 음성 메모를 남길 수 있고, 회의를 자동으로 감지해 녹음·요약해주는 기능도 있다. 개발자가 가장 어려웠던 부분은 이 프로그램을 백그라운드에서 계속 켜두는 일이었는데, 특히 대화 기능이 연산을 요구하면서 컴퓨터 자원을 많이 잡아먹는 문제가 있었다고 한다.
핵심 포인트
- 모델을 로컬에서 실행해 화면 데이터가 기기 밖으로 나가지 않음
- 화면 활동 시간 추적, 스크린샷 텍스트 검색, 과거 화면 기록에 대한 가능
- 슬랙 등 서비스와 연동한 자동화를 일반 문장 또는 파이썬으로 작성 가능
- 단축키로 음성 메모 녹음 + 회의 자동 감지·녹음·요약 기능 제공
- 백그라운드에서 을 계속 돌리는 것이 컴퓨터 자원을 많이 소모하는 주요 난제였음