LLM이 프롬프트를 받고 첫 단어를 만들어내기까지의 과정
를 입력하고 엔터를 누른 뒤 LLM이 응답을 생성하는 과정을 설명한다. 모델은 한 번에 토큰(단어 조각) 하나씩만 만들어내며, 다음 토큰을 만들 때마다 이전의 모든 토큰을 다시 계산해야 하므로 이 방식은 원래 느리다. 이 문제를 완화하기 위해 라는 기법을 쓰는데, 이전에 계산한 결과를 저장해뒀다가 재사용해서 매번 처음부터 다시 계산하지 않도록 한다.
또한 , 같은 디코딩 전략이 다음 토큰을 고를 때 얼마나 다양하거나 예측 가능한 답을 낼지를 결정한다. 이 글은 LLM 원리를 다룬 4부작 시리즈의 마지막 편이며, 앞선 편들은 토큰화·임베딩·순전파(1부), 손실 함수·역전파·최적화(2부), 스케일링··RLHF/DPO(3부)를 다뤘다.
핵심 포인트
- 모델은 한 번에 토큰 하나씩 순차적으로 생성한다
- 는 이전 계산 결과를 재사용해 반복 계산을 줄인다
- , 는 다음 토큰 선택의 다양성/예측가능성을 조절한다
- 이 글은 LLM 원리 4부작 시리즈의 마지막 편이다