개인 서버 연구 도우미는 ‘생성’과 ‘검증’을 나눌 때 안정적이었다
몇 주간 한 개인 서버 연구 도우미 실험에서는, 인터넷에 내용을 보내지 않고 자기 장비에서만 돌리면서 여러 단계를 거치는 질문에 답하는 것이 목표였다. 한 개의 에 검색 도구를 붙이고 로 돌린 방식은 가장 싸고 빨리 만들 수 있었지만 가장 먼저 제외됐다. 질문이 두 단계를 넘어가면 모델이 앞서 만든 자기 추론을 에 계속 쌓았고, 세 번째 단계쯤부터는 스스로 만든 흐름에 동의하면서 출처를 그럴듯하게 지어냈다.
를 더 크게 잡아도 문제를 해결하지 못했고, 오류가 늦게 나타날 뿐이었다. 남은 방식은 두 개를 나누는 구성이었다. 하나는 조사 역할을 맡고, 더 작은 하나는 검증기로 두어 각 주장을 새 출처로 다시 확인했다.
핵심은 검증기가 조사 모델의 을 보지 못하게 하는 것이었다. 검증기는 주장만 받고 독립적으로 근거를 찾아야 했고, Apodex가 추론기와 검증기를 분리하는 방식이 참고 사례로 쓰였다. Apodex의 오픈 미니 모델은 35B A3B 구조라 전체 크기는 크지만 토큰마다 실제로 움직이는 부분은 약 3B라서, 계속 많은 계산을 하지 않는 검증기 용도에 맞는 형태로 평가됐다.
핵심 포인트
- 개인 장비에서만 돌아가고 외부로 내용을 보내지 않는 연구 도우미가 목표였다.
- 하나와 검색 도구만 붙인 구성은 여러 단계 질문에서 출처를 지어내는 문제가 컸다.
- 를 키워도 오류를 없애지는 못하고, 문제가 늦게 드러났을 뿐이었다.
- 조사 모델과 검증기를 분리한 두 모델 구성이 실제 사용에서 남았다.
- 검증기는 조사 모델의 추론을 보지 않고, 주장만 받아 새 출처로 따로 확인해야 했다.