도구 설명 한 문장이 Gemini의 계산기 사용을 크게 줄였다
여섯 개의 에 계산기를 쓸 수 있게 하고, 모델이 혼자서는 모두 틀리는 어려운 곱셈 문제를 풀게 했다. 계산기 자체는 항상 같았고, 바뀐 것은 계산기 설명의 한 문장뿐이었다. 기본 설명은 간단한 산술식을 계산한다는 내용이었다.
바꾼 설명은 스스로 믿고 계산할 수 있으면 직접 답하고, 필요할 때만 계산기를 쓰라는 내용이었다. 계산기를 쓰지 않으면 답이 틀릴 수밖에 없는 조건이라서, 계산기 사용률이 거의 그대로 정답률과 이어졌다. 와 --v3는 두 설명 모두에서 계산기를 100% 사용했다.
claude-3.5-는 기본 설명에서 93%, 바뀐 설명에서 100%로 오히려 더 많이 썼다. -3.3-70b는 100%에서 70%로 줄었고, gemini-2.5-는 93%에서 20%로 크게 떨어졌으며, mistral-small-3.2도 60%에서 20%로 떨어졌다. 각 조건은 10번씩 시험했고, 결과는 모델마다 크게 달랐다.
핵심 포인트
- 계산기는 항상 사용할 수 있었고, 달라진 것은 계산기 설명 한 문장뿐이었다.
- 모든 모델은 계산기 없이 어려운 곱셈을 풀면 0% 정답률이었다.
- 와 --v3는 설명이 바뀌어도 계산기를 계속 100% 사용했다.
- gemini-2.5-는 계산기 사용률이 93%에서 20%로 떨어졌다.
- 도구 설명 문구의 영향은 모델마다 완전히 다르게 나타났다.