기후 문서용 검색 증강 생성 챗봇을 싸게 온라인 운영하려는 고민
비영리 기후과학 단체에서 조직 웹사이트용 인공지능 채팅 에이전트를 만들고 있다. 목표는 에이전트가 미리 넣어 둔 문서와 데이터만 참고해서 답하게 하는 것이다. 현재는 에서 모델을 로컬로 돌릴 때 잘 작동하며, 필요한 정보를 제대로 답하고 데이터 그래프도 그린다.
이제 이 에이전트를 온라인에 올리고, 지금은 한 유역만 다루는 좁은 범위에서 더 넓은 범위로 키우려 한다. 장기적으로는 인터넷 접속이 불안정한 이해관계자를 위해 오프라인 버전도 제공하고, 성능 좋은 컴퓨터가 없거나 프라이버시를 크게 신경 쓰지 않는 사람을 위해 온라인 버전도 제공하려 한다. 사용량은 많지 않을 것으로 보이며, 비용은 최대한 낮게 유지하는 것이 중요하다.
후보로는 연구 작업에도 쓸 예정인 구독과 함께 를 쓰는 방안이 검토되고 있지만, 이 용도에는 다소 큰 모델일 수 있다.
핵심 포인트
- 조직 웹사이트에 문서와 데이터만 참고하는 인공지능 채팅 에이전트를 붙이려는 상황이다.
- 현재 의 를 로컬에서 돌리면 답변과 데이터 그래프 생성이 잘 된다.
- 온라인 배포와 향후 범위 확장이 필요하지만 예상 사용량은 많지 않다.
- 오프라인 사용자와 온라인 사용자를 모두 지원하는 이중 운영이 목표다.
- 비용을 낮추기 위해 와 사용을 검토하고 있다.