LLM의 말과 실제 도구 실행이 달라지는 문제
여러 달 동안 관찰된 문제는 이 도구를 쓰기 전에 하겠다고 말한 방식과 실제 도구 호출에서 실행한 방식이 자주 달라진다는 점이다. 결과는 비슷하게 나올 수 있지만, 모델이 약속한 절차와 실제 실행 절차가 맞지 않는다. 예로 GLM은 편집기 내용을 바꾸기 위해 작은 을 쓰는 ‘변환 방식’을 쓰겠다고 했다.
하지만 실제로는 차이점 묶음인 diff를 만든 뒤 그것을 적용했다. 이런 행동은 GLM만의 문제가 아니며, 과 에서도 비슷한 사례가 관찰됐다.
핵심 포인트
- LLM이 도구 사용 전에 말한 방식과 실제 도구 호출 방식이 다를 수 있다.
- 결과는 비슷해도 실행 절차가 다르면 자동화 신뢰성이 떨어진다.
- GLM은 변환 방식을 쓰겠다고 했지만 실제로는 diff를 적용했다.
- 과 에서도 비슷한 행동이 관찰됐다.
- 에는 도구 입력값 검증과 확인이 필요하다.