제안서 자동 작성 실험서 Claude Haiku가 속도와 안정성 우위
의뢰에 맞춘 제안서를 자동으로 만드는 작업 흐름에서 와 ·Flash를 비교했다. 실제 의뢰 3건으로 모델마다 3회씩, 총 9회 실행했다. 는 한 번도 실패하지 않았고 두 모델보다 전체 작업이 3~10배 빨랐다.
최대 추론 수준인 를 사용한 는 가장 긴 의뢰의 정보 정리에 67초가 걸렸으며, 질문 추출은 시간 초과로 실패해 질문을 하나도 찾지 못했다. Pro의 정보 정리 작업 중 한 사례에서는 출력 토큰의 91%가 사용자에게 보이는 요약이 아니라 내부 추론 토큰이어서, 이를 비용에 포함하면 Haiku보다 뚜렷하게 저렴하지 않았다. 는 의뢰 한 건당 비용이 Haiku의 약 3분의 1이었지만 3~5배 느렸고, 답변 생성 중 한 차례 시간 초과가 발생했다.
다만 의뢰 3건만 시험한 작은 비교이므로 다른 작업에서도 같은 결과가 나온다고 단정할 수 없다.
핵심 포인트
- 실제 의뢰 3건을 세 모델로 각각 실행해 총 9회를 비교했다.
- 는 9회 중 실패가 없었고 모델보다 3~10배 빨랐다.
- 는 긴 의뢰의 질문 추출이 시간 초과로 끝났으며 질문을 0개 반환했다.
- Pro의 한 작업에서는 출력 토큰 중 91%가 내부 추론 토큰이었다.
- 는 Haiku 비용의 약 3분의 1이었지만 3~5배 느리고 한 번 실패했다.