운영 중인 RAG 챗봇에서 가끔 5분 지연이 발생
운영 중인 RAG 챗봇에서 같은 질문이 로컬 환경에서는 보통 30초 안에 끝나지만, AWS에 올린 환경에서는 가끔 4~5분까지 느려진다. 이 챗봇은 파이썬 웹 앱, , 데이터베이스, 를 함께 쓰며, 모두 같은 AWS 지역에 있다. 앱은 컨테이너 형태로 에서 실행되고, 데이터베이스와 벡터 데이터는 같은 안에 있지만 서로 다른 저장 구역을 쓴다.
이미 데이터베이스 색인, 벡터 검색용 색인, 연결 재사용, 작업 스레드 재사용, 자동 확장 같은 기본 최적화는 적용되어 있다. 실행 단위마다 메모리는 1GB이고, 3개까지 준비되어 있지만 기록상 실제로는 2개 넘게 쓰인 적이 없다. 문제는 항상 느린 것이 아니라 대부분은 정상 속도이고, 아주 가끔 한 요청만 4~5분 걸린 뒤 다음 요청은 다시 정상으로 돌아간다는 점이다.
확인된 원인은 아직 없다.
핵심 포인트
- 같은 질문이 로컬에서는 보통 30초 안에 끝나지만 운영 환경에서는 가끔 4~5분 걸린다.
- , , , 가 모두 같은 AWS 지역에서 쓰인다.
- 데이터베이스 색인, 벡터 색인, 연결 재사용, 스레드 재사용, 자동 확장은 이미 적용되어 있다.
- 실행 단위는 3개까지 있지만 기록상 2개 넘게 사용된 적은 없다.
- 대부분의 요청은 빠르고, 느린 요청 직후에도 다음 요청은 정상으로 돌아올 수 있다.