금융 앱 AI를 클라우드 대신 휴대폰 안에서 돌린 사례
Welly라는 금융 앱의 AI 도우미는 사용자의 휴대폰 안에서 작동하도록 만들어졌다. 아이폰에서는 를 쓰고, 안드로이드에서는 와 를 쓴다. 그래서 보험, 예산, 투자 같은 금융 정보를 AI 처리를 위해 외부 서버로 보내지 않아도 된다.
대신 는 작기 때문에 한 번에 참고할 수 있는 문맥이 제한된다. 에서는 약 4천 토큰, 에서는 약 1만2천 토큰 정도를 다룬다. 이 한계 때문에 Welly는 모든 질문에 답하는 챗봇이 아니라, 보험 약관을 쉬운 말로 요약하고 그 약관에 대한 추가 질문에 답하는 식의 좁은 기능에 집중한다.
명세서를 항목별 지출로 바꾼 뒤 사용자가 확인하고 승인해야 예산에 반영되며, 저축 계획, 순자산, 투자, 새 집 구매 가능 금액 계산도 다룬다.
핵심 포인트
- AI 도우미가 가 아니라 사용자의 휴대폰에서 작동한다.
- 아이폰은 , 안드로이드는 와 를 사용한다.
- 금융 데이터를 외부 서버로 보내지 않는 설계가 핵심이다.
- 문맥 한도는 약 4천 토큰, 약 1만2천 토큰이다.
- 보험 요약, 지출 항목화, 저축 계획, 순자산, 투자, 주택 구매 가능 금액 계산처럼 좁은 작업에 맞췄다.