긴 사고 과정 대신 내부 표현으로 추론해 토큰 비용 줄이기
이 긴 을 글로 출력한다고 해서 그 글이 실제 내부 계산을 정확히 보여 주는 것은 아니다. 그럴듯한 단계를 내놓고도 답이 틀릴 수 있고, 과정이 엉성해 보여도 답은 맞을 수 있어 감사 기록으로 믿기 어렵다. 또한 중간 계산을 토큰으로 하나씩 생성하면 처리 시간이 길어지고 비용과 도 늘어난다.
Coconut은 연속적인 에서 중간 추론을 처리하고 마지막에만 언어로 바꾸는 방식을 연구한다. HRM과 HRM Text는 느린 계획과 빠른 을 나누며, RecursiveMAS는 에이전트들이 긴 글 대신 을 주고받게 한다. 핵심 구분은 언어를 사람과 소통하는 인터페이스로 쓸지, 모델의 모든 계산을 수행하는 기반으로 쓸지다.
다만 을 글로 남기지 않으면 판단 과정을 확인하기 어려운 블랙박스 문제가 더 커진다.
핵심 포인트
- 문장은 모델의 실제 내부 계산을 그대로 보여 주지 않을 수 있다.
- 긴 중간 추론을 토큰으로 출력하면 비용, 처리 시간, 이 늘어난다.
- Coconut은 중간 추론을 에서 처리한 뒤 마지막 결과만 언어로 만든다.
- RecursiveMAS는 에이전트 사이의 긴 문장 대신 을 전달한다.
- 토큰을 아끼는 대신 내부 판단을 확인하기 어려운 블랙박스 위험이 커질 수 있다.