Ollama 채팅 UI를 직접 만들며 얻은 작은 교훈
를 터미널에서 쓰면 작동은 하지만, 매번 터미널을 열어야 해서 일반 채팅 화면이 있으면 더 편하다. 같은 완성된 도구가 이미 있지만, 내부에서 어떤 일이 일어나는지 이해하려면 로 간단한 서버를 만들고 JS로 화면을 붙이는 작은 방식도 가능하다.
모델 목록은 의 API에서 가져올 수 있다. 답변은 한 번에 다 기다렸다가 보여주는 대신, 토큰이 생기는 대로 스트리밍하면 사용자가 더 빨리 반응을 보는 느낌을 받는다.
중요한 점은 가 대화 문맥을 스스로 계속 들고 있지 않기 때문에, 매 요청마다 이전 대화 기록을 다시 보내야 한다는 것이다. 가 꺼져 있을 때 앱이 끝없이 멈추지 않게 하려면 요청 시간 제한도 필요하다.
핵심 포인트
- 용 간단한 채팅 UI는 서버와 JS 화면만으로도 만들 수 있다.
- 모델 목록은 의 API에서 직접 불러올 수 있다.
- 응답을 스트리밍하면 전체 답변을 기다리지 않고 토큰 단위로 보여줄 수 있다.
- 는 대화 문맥을 자동으로 기억하지 않으므로 이전 기록을 매 요청에 다시 보내야 한다.
- 가 실행 중이 아닐 때 앱이 멈추지 않도록 요청 시간 제한을 넣어야 한다.