데이터 분석 에이전트는 SQL보다 ‘문맥 관리’가 더 어렵다
nao 팀은 1년 동안 회사 위에서 분석 에이전트를 운영하며, 문제가 단순히 텍스트를 SQL로 바꾸는 데 있지 않다고 판단했다. 최신 LLM은 SQL 자체는 꽤 잘 만들지만, 실제로 자주 깨지는 부분은 질문 주변의 업무 문맥이었다. 예를 들어 이번 분기의 ‘’가 무엇을 뜻하는지, 지표 정의가 시간이 지나도 일관적인지, 에이전트가 필요한 문서를 제대로 찾아오는지, 잘못된 테이블 연결을 만들어내지 않는지가 더 큰 문제였다.
그래서 nao는 에이전트를 검은상자로 두지 않고, 데이터 팀이 스키마, 지표, 규칙, 문서, 를 관리하는 방식으로 틀을 만들었다. 데이터 팀은 CLI로 데이터 창고를 연결하고, 를 동기화하고, 규칙과 문서를 작성하며, 테스트를 실행한다. 업무 사용자는 채팅 화면에서 쉬운 말로 질문한다.
이 프로젝트는 오픈소스로 공개됐고, Y Combinator의 지원을 받는다.
핵심 포인트
- 최신 LLM은 SQL 작성 자체보다 업무 정의와 문맥 처리에서 더 자주 실패할 수 있다.
- ‘’ 같은 지표 정의가 명확하지 않으면 에이전트 답변이 흔들린다.
- 스키마, 지표, 규칙, 문서를 데이터 팀이 직접 관리하는 구조를 제안한다.
- CLI로 문맥을 만들고 테스트한 뒤, 일반 사용자는 채팅 화면에서 질문한다.
- 정량적인 비용 절감 수치는 제시되지 않았다.