라즈베리 파이 5로 작은 로컬 AI 로봇을 돌릴 수 있을까

완전히 집 안에서만 작동하는 지능형 반려동물 로봇을 만들려는 구상이다. 핵심 구성은 대화를 맡는 , 말을 알아듣는 , 음성을 만들어 내는 다. 현재 쓰는 3B+에서는 답변 생성 속도가 약 4토큰/초 수준이다.

목표는 메모리 4GB짜리 에서 이 구성이 실제로 쓸 만한지 확인하는 것이다. 제공된 내용에는 에서의 실제 측정값이나 성공 사례는 아직 없다.

핵심 포인트

  • 로컬 반려동물 로봇에 , , 를 함께 쓰려는 구성이다.
  • 3B+에서는 답변 생성이 약 4토큰/초로 느린 편이다.
  • 검토 대상은 메모리 4GB짜리 다.
  • 사용자에게는 초소형 장비와 맥미니의 로컬 AI 처리 여유를 비교하는 참고점이 된다.
원문 보기