Bratan, 세 역할이 RAG를 반복 개선하는 오픈소스 도구
Bratan은 시스템을 더 잘 만들기 위한 실험 다. 구조는 세 역할로 나뉜다.
한 역할은 검색과 답변 흐름의 약점을 찾아내고, 다른 역할은 그 문제를 고치며, 마지막 역할은 결과가 실제로 나아졌는지 점수를 매긴다. 이 과정은 한 번에 끝나지 않고, 함께 바뀌는 시험 문제 묶음을 놓고 반복된다.
목표는 고정된 시험에서만 좋은 점수를 받는 시스템이 아니라, 여러 약점에 버티는 검색 기반 답변 시스템을 만드는 것이다. 다만 토큰 절감이나 감소에 대한 구체적인 수치나 검증 결과는 제시되지 않았다.
핵심 포인트
- Bratan은 개선을 목표로 하는 다.
- 세 역할이 약점 찾기, 수정, 평가를 나눠 맡는다.
- 고정된 시험 문제만 쓰지 않고, 시험 문제도 함께 바꾸며 반복한다.
- 목표는 시험 점수만 높은 시스템보다 실제 약점에 강한 를 만드는 것이다.
- 토큰 절감이나 감소에 대한 숫자는 아직 없다.