LLM을 직접 만드는 기초 워크숍 공개
수학이나 머신러닝을 미리 몰라도 코드와 엑셀 예제로 의 작동 원리를 따라갈 수 있는 워크숍이다. 내용은 머신러닝 기본, 깊은 신경망, 구조, 사전 학습과 학습 후 조정까지 이어진다.
토큰을 글자, 단어, BPE, SentencePiece 방식으로 나누는 방법도 다룬다. 모델이 문장을 처리할 때 쓰는 임베딩, 어텐션, 정규화, 손실 함수, 역전파, 최적화 같은 핵심 개념을 단계적으로 설명한다.
GPU에서 모델을 더 빠르게 돌리기 위한 , (), fused kernels, CUDA, 같은 도구도 포함된다. 어텐션 방식으로는 MHA, GQA, MQA, MLA가 언급되어 모델 속도와 계산량을 이해하는 데 도움이 된다.
핵심 포인트
- 사전 지식 없이 코드와 엑셀 예제로 LLM 기초를 배우는 구성이다.
- 토큰화, 임베딩, 어텐션, , 사전 학습을 폭넓게 다룬다.
- , CUDA, 등 GPU 실행 관련 주제도 포함된다.
- GQA, MQA, MLA 같은 어텐션 방식은 계산량과 비용 이해에 연결된다.