64GB 맥미니로 소설 캐릭터용 로컬 LLM을 돌리려는 사례
64GB 메모리를 갖춘 맥미니를 실험용 장비로 쓰려는 구체적인 계획이다. 목표는 소설 속 캐릭터가 실제로 대화하는 것처럼 작동하게 만드는 것이다. 이미 직장에서는 BERT와 GPT 계열 모델을 다루고, 개인 맥북에서는 80억 개 이상 규모의 모델로 PDF 질의응답과 요약을 해본 경험이 있다.
기본 방식은 캐릭터 설정을 프롬프트에 넣는 방법과, 세계관 자료를 검색해 답변에 참고시키는 RAG 방식이다. 하지만 여기서 더 나아가 캐릭터의 말투, 성격, 행동을 더 정확히 조절하는 방법을 찾고 있다. 후보로는 학습용 데이터셋, 모델, , 반복해서 쓰이는 구성 방식, 그리고 모델 내부 작동을 이해하고 방향을 조정하는 연구가 언급된다.
연간 약 750달러어치의 사용권도 있어서, 직접 를 만드는 데 쓸 수 있다.
핵심 포인트
- 64GB 맥미니를 과 개인 인공지능 실험용으로 쓰려는 계획이다.
- 목표는 소설 캐릭터의 말투와 성격을 더 일관되게 재현하는 것이다.
- 기본 프롬프트와 RAG는 이미 고려했지만, 더 정밀한 제어 방법을 찾고 있다.
- 연간 약 750달러의 사용권을 제작에 쓸 수 있다.
- 는 개인 창작 도구와 실험 환경으로도 쓰일 수 있다.