AI 에이전트 답변 실패는 모델보다 검색에서 먼저 생길 수 있다
을 쓰는 가 약한 답을 내놓을 때, 원인은 모델 자체가 아닐 수 있다. 많은 팀은 모델의 환각, 나쁜 프롬프트, 작은 문맥 창, 불명확한 지시를 먼저 의심한다. 하지만 실제 에서는 모델이 답을 만들기 전에 이미 잘못된 자료가 들어오는 경우가 많다.
회사들은 문서, , 정책, 고객 문의, 계약서, 설명서, 내부 시스템에 흩어진 지식을 가 쓰게 하려고 을 만든다. 보통 문서를 작은 조각으로 나누고, 글을 임베딩으로 바꾸고, 벡터로 저장한 뒤, 질문과 가까운 조각을 찾아 모델에 넣는다. 단순한 질문에는 이 방식이 잘 맞을 수 있다.
그러나 실제 업무 질문은 더 복잡해서, 검색 단계가 틀리면 모델은 처음부터 잘못된 재료로 답을 만들게 된다.
핵심 포인트
- 의 나쁜 답변은 모델이 아니라 검색 단계에서 시작될 수 있다.
- 은 내부 문서와 데이터에서 관련 내용을 찾아 모델에 넣는 방식이다.
- 문서를 조각내고, 임베딩을 만들고, 벡터로 저장한 뒤 가까운 자료를 찾는 흐름이 일반적이다.
- 단순한 질문에는 잘 작동할 수 있지만, 실제 업무 질문은 더 복잡하다.
- 잘못된 자료가 모델에 들어가면 모델은 그 한계 안에서 답을 만들 수밖에 없다.