인도 식료품점 운영으로 AI 에이전트를 시험하는 DukaanBench
는 인도 식료품점 운영을 30일 동안 흉내 내는 실험 환경이다. 여러 LLM이 실제 인도 시장에 가까운 상황에서 얼마나 잘 운영 판단을 하는지 보려는 목적이다.
평가 내용에는 , 손님 신뢰 유지, , 상하기 쉬운 상품 처리, 이 부족한 상황에서의 선택이 포함된다. 제목은 가 이 실험에서 좋은 성과를 냈다고 주장하지만, 공개된 내용만으로는 점수, 비교 대상, 비용, 같은 구체 수치는 확인되지 않는다.
핵심 포인트
- 는 인도 식료품점 운영을 30일 동안 한다.
- 평가 대상은 여러 LLM의 운영 판단 능력이다.
- 재고, 손님 신뢰, , 상하기 쉬운 상품, 제한을 다룬다.
- 제목은 가 좋은 결과를 냈다고 주장한다.
- 비용, , 정량 점수는 공개된 요약에서 확인되지 않는다.