Ray-Ban 안경 AI 앱, 사진·영상 인식을 아이폰 안에서 처리
OpenVision은 Meta Ray-Ban 안경을 손을 쓰지 않는 처럼 쓰게 해 주는 무료 오픈소스 이다. 새 버전 2.4.0에서는 사진을 찍고 무엇인지 물으면 와 가 아이폰 안에서 답을 만든다. 사진이 외부 서버로 나가지 않기 때문에 인터넷 연결이 없어도 쓸 수 있고, 클라우드 사용료도 들지 않는다.
실시간 영상도 오프라인으로 처리할 수 있어, 카메라를 켜 둔 상태에서 현재 화면에 대해 계속 질문할 수 있다. 클라우드를 쓰고 싶을 때는 OpenAI Realtime 또는 를 실시간 영상용 대안으로 고를 수 있다. 영상 모드에서는 멈추라고 말하기 전까지 깨우는 말을 반복하지 않고 이어서 질문할 수 있다.
가장 큰 기술 문제는 아이폰 메모리 제한이었다. 시각 모델이 매 프레임을 크게 키운 뒤 약 25개 조각으로 나누면서 앱이 강제 종료됐고, 이미지 해상도 상한을 두자 문제가 해결됐다.
핵심 포인트
- OpenVision은 Meta Ray-Ban 안경용 무료 오픈소스 iOS 앱이다.
- 버전 2.4.0은 사진 질문 답변과 실시간 영상 질문을 아이폰 안에서 처리한다.
- 오프라인에서도 작동하며 클라우드 사용료와 을 줄일 수 있다.
- OpenAI Realtime과 를 클라우드 기반 실시간 영상 대안으로 지원한다.
- 아이폰 메모리 제한 문제는 이미지 해상도 상한을 두는 방식으로 해결됐다.