심어둔 API 버그로 AI 에이전트 실전 디버깅 능력 시험하기
Claude Code 같은 MCP 에이전트가 실제 업무 앱에서 API 버그를 얼마나 잘 찾고 고치는지 반복해서 시험하는 방법이다. 핵심은 특정 API에 대한 지식을 모아 둔 맞춤형 를 만들고, 이미 만들어진 작은 앱에 흔한 API 버그를 일부러 심어 두는 것이다.
그다음 에이전트에게 이 앱을 맡겨 버그를 찾아내고 고치는 과정을 관찰한다. 결과를 모아 어떤 지식이 부족했는지, 가 어디서 헷갈렸는지, MCP 시스템 자체가 어디서 약했는지 확인한다.
이후 API 지식, , MCP 구성을 계속 고쳐 가며 테스트 품질을 높인다. 이 방식은 난이도 높은 품질 관리, 디버깅, , 토큰 절약, 여러 에이전트 운용을 함께 다루는 반복 가능한 오픈소스 실험 틀로 제시된다.
핵심 포인트
- Claude Code 같은 MCP 에이전트의 API 버그 탐지와 수정 능력을 시험한다.
- 특정 API 지식을 담은 맞춤형 를 만든다.
- 작은 앱에 흔한 API 버그를 일부러 넣고 에이전트에게 해결하게 한다.
- 실패와 성공 결과를 바탕으로 지식, , MCP 구성을 반복 개선한다.
- 와 토큰 절약을 포함한 에이전트 품질 관리에 쓸 수 있다.