작은 모델도 수식 풀이처럼 보이는 패턴 변환을 배울 수 있음
는 400만 개 매개변수를 가진 작은 이다. 이 모델은 수학 지식을 따로 넣지 않아도, 인수분해된 식을 전개된 식으로 바꾸는 기호 수학 과제에서 약 98.6% 정확도를 냈다.
예를 들어 괄호로 묶인 식을 받아 곱셈을 풀어 쓴 형태를 예측한다. 핵심은 모델이 연산자나 변수의 뜻을 이해했다기보다, 토큰의 구조적 변환 규칙을 배운 것처럼 보인다는 점이다.
더 큰 언어 모델이 수학적으로 하는 것처럼 보일 때도, 실제로는 매우 큰 규모의 구조화된 패턴 완성일 수 있다는 해석을 뒷받침한다. 강화학습이 이런 방식에 어떤 변화를 주는지도 남은 질문이다.
핵심 포인트
- 400만 매개변수의 작은 이 기호 수학 과제에서 약 98.6% 정확도를 냈다.
- 수학 지식을 직접 넣지 않아도 인수분해된 식을 전개된 식으로 바꾸는 법을 학습했다.
- 결과는 모델이 의미 이해보다 토큰의 구조적 패턴 변환을 배웠을 가능성을 시사한다.
- 큰 언어 모델의 수학적 도 일부는 대규모 패턴 완성일 수 있다는 해석과 연결된다.
- 에이전트 설계에서는 좁은 작업을 작은 전용 모델로 떼어 비용을 줄일 수 있는지 살펴볼 만하다.