AI 트레이딩 봇, temperature 미설정으로 같은 차트에 다른 답 내놔
AI 코파일럿을 만든 개발자가 다른 에 제품 피드백을 요청했다가 지적을 받았다. 한 사용자가 "같은 을 두 번 올렸을 때 지지선 값이 다르게 나오면 그건 못 쓸 제품"이라고 지적했고, 확인해보니 실제로 그런 문제가 있었다. 차트를 읽어 분석하는 첫 번째 ()에 값을 아예 설정하지 않아 모델 기본값인 최대 창의성 모드로 동작하고 있었고, 최종 분석문을 쓰는 두 번째 호출은 0.4로 돌아가고 있었다.
그 결과 같은 차트를 넣어도 실행할 때마다 다른 지지선 값이 나올 수 있었다. 개발자 본인은 몇 달간 테스트하면서도 이 문제를 전혀 몰랐는데, 이유는 자기 테스트에서는 항상 새로운 차트를 넣지 같은 이미지를 두 번 넣어보지 않았기 때문이다. 수정은 두 줄이었다: 두 모두에 를 0으로 설정하고 seed 값을 추가하는 것.
그날 오후 바로 배포했다.
핵심 포인트
- 를 명시적으로 지정하지 않으면 모델 기본값(대개 높은 무작위성)으로 동작한다
- 같은 입력을 반복 테스트하지 않으면 비결정성 버그를 스스로 발견하기 어렵다
- 분석/판단이 필요한 에는 0과 seed 고정을 기본값으로 검토할 것
- 외부 사용자의 피드백 한 문장이 몇 달간 못 찾은 버그를 드러낼 수 있다