강한 AI 모델은 필요한 일에만 쓰는 편이 비용을 줄인다

는 같은 작업을 해도 보다 사용량이 훨씬 빨리 줄었다. 에서는 25분 만에 주간 허용량의 절반을 썼지만, 에서는 비슷한 작업으로 같은 수준에 도달하는 데 약 2시간이 걸렸다. 핵심은 자체보다 토큰이 얼마나 빨리 소모되는지다.

가장 강한 모델을 항상 쓰면 AI로 개발할 때 비용과 사용량을 빠르게 낭비할 수 있다. 는 전체 작업의 약 20%처럼, 복잡한 작업인데 요구사항을 자세히 적기 어려운 경우에 값어치가 있었다. 예를 들어 설명이 거의 없는 SimCity식 시뮬레이션 프로젝트에서는 가 더 촘촘하고 깊은 결과를 냈고, 은 괜찮지만 덜 뛰어난 결과를 냈다.

요구사항이 분명하고, 를 알고 있고, 범위가 정해진 일반 개발 작업은 로 처리하는 방식이 더 합리적이다.

핵심 포인트

  • 는 25분 만에 주간 허용량의 절반을 썼고, 은 비슷한 소모에 약 2시간이 걸렸다.
  • 문제는 숫자보다 토큰 소모 속도다.
  • 복잡하고 프롬프트가 부족한 작업에서는 가 더 나은 결과를 냈다.
  • 요구사항과 범위가 분명한 일반 개발 작업은 이 더 알맞았다.
  • 강한 모델은 전체 작업 중 꼭 필요한 일부에만 쓰는 방식이 비용 관리에 유리하다.

이 사건을 다룬 원문 (4)

원문 보기