ScreenMind, 화면 기록을 내 기기에서 AI로 검색하고 대화
ScreenMind는 을 대신할 수 있는 개인정보 중심 도구다. 화면 캡처를 계속 분석하지만 데이터가 내 컴퓨터 밖으로 나가지 않도록 기기 안에서 처리한다. 를 사용해 이미지, 음성, 추론을 함께 다루며, 화면에 보였던 내용을 나중에 검색하거나 대화로 물어볼 수 있다.
예를 들어 디스코드에서 누가 보낸 말, Microsoft에서 온 메일, 특정 글자가 들어간 화면 캡처를 찾아낼 수 있다. 하루 동안 무엇에 시간을 썼는지도 시간 흐름으로 볼 수 있다. 화면 기록을 바탕으로 Slack에 하루 보고서를 보내는 자동화도 만들 수 있고, 코딩에 익숙하지 않으면 자연어로, 개발자는 으로 더 깊게 설정할 수 있다.
단축키로 음성 메모를 화면 캡처와 함께 저장하고, 회의를 자동으로 감지해 받아쓰기와 요약도 만든다. 가장 어려운 부분은 로 계속 돌리는 일이었고, 로컬 모델이 화면 캡처를 계속 분석하면 컴퓨터 자원을 많이 쓸 수 있다.
핵심 포인트
- ScreenMind는 과 비슷한 화면 기억 도구를 개인정보 중심으로 만들려는 프로젝트다.
- 화면 캡처를 기기 안에서 분석해 데이터가 컴퓨터 밖으로 나가지 않게 하는 방향이다.
- 화면에 보였던 문자, 메시지, 이메일, 을 나중에 검색하거나 대화로 물어볼 수 있다.
- 자연어 또는 으로 자동화를 만들 수 있고 Slack 보고서 같은 작업도 가능하다.
- 로컬 모델을 계속 돌려야 해서 컴퓨터 자원 사용이 중요한 과제다.