[R-LOG] 밑바닥부터 만들면서 배우는 LLM / 서평단 / 길벗

본 서평은 출판사의 서평단으로 선정되어 제공받은 도서를 읽고 작성하였습니다

 

[목차]

들어가며

이 책은 어떤 책인가?

책 후기

추천 대상

마무리

 

---

[들어가며]

요즘 대화형 인공지능이 핫하다.

지피티 같은 LLM 대화형 인공지능이 나오면서 '이건 어떻게 구현했을까?' 하는 궁금증이 있었다.

그래서 막상 공부를 해보려니 어디서부터 시작해야 할지 막막했다.

그러던 중 서평단 모집 글을 발견하고 신청했더니 운이 좋게도 선정이 되었다.

 

---

[이 책은 어떤 책인가?]

밑바닥부터 만들면서 배우는 LLM

• 제목 : 밑바닥부터 만들면서 배우는  LLM
• 저자 : [저자(글)] 세바스찬 라시카 / [번역] 박해선
• 출판사 : 길벗
• 출판일 : 2025년 9월 22일
• 링크 :  https://gilbut.co/c/25094082dC

 

 

1장 대규모 언어 모델 이해하기
1.1 LLM이란 무엇인가요?
1.2 LLM 애플리케이션
1.3 LLM의 구축 단계
1.4 트랜스포머 구조 소개
1.5 대규모 데이터셋 활용하기
1.6 GPT 구조 자세히 살펴보기
1.7 대규모 언어 모델 만들기
1.8 요약

2장 텍스트 데이터 다루기
2.1 단어 임베딩 이해하기
2.2 텍스트 토큰화하기
2.3 토큰을 토큰 ID로 변환하기
2.4 특수 문맥 토큰 추가하기
2.5 바이트 페어 인코딩
2.6 슬라이딩 윈도로 데이터 샘플링하기
2.7 토큰 임베딩 만들기
2.8 단어 위치 인코딩하기
2.9 요약

3장 어텐션 메커니즘 구현하기
3.1 긴 시퀀스 모델링의 문제점
3.2 어텐션 메커니즘으로 데이터 의존성 포착하기
3.3 셀프 어텐션으로 입력의 서로 다른 부분에 주의 기울이기
__3.3.1 훈련 가능한 가중치가 없는 간단한 셀프 어텐션 메커니즘
__3.3.2 모든 입력 토큰에 대해 어텐션 가중치 계산하기
3.4 훈련 가능한 가중치를 가진 셀프 어텐션 구현하기
__3.4.1 단계별로 어텐션 가중치 계산하기
__3.4.2 셀프 어텐션 파이썬 클래스 구현하기
3.5 코잘 어텐션으로 미래의 단어를 감추기
__3.5.1 코잘 어텐션 마스크 적용하기
__3.5.2 드롭아웃으로 어텐션 가중치에 추가적으로 마스킹하기
__3.5.3 코잘 어텐션 클래스 구현하기
3.6 싱글 헤드 어텐션을 멀티 헤드 어텐션으로 확장하기
__3.6.1 여러 개의 싱글 헤드 어텐션 층 쌓기
__3.6.2 가중치 분할로 멀티 헤드 어텐션 구현하기
3.7 요약

4장 밑바닥부터 GPT 모델 구현하기
4.1 LLM 구조 구현하기
4.2 층 정규화로 활성화 정규화하기
4.3 GELU 활성화 함수를 사용하는 피드 포워드 네트워크 구현하기
4.4 숏컷 연결 추가하기
4.5 어텐션과 선형 층을 트랜스포머 블록에 연결하기
4.6 GPT 모델 만들기
4.7 텍스트 생성하기
4.8 요약

5장 레이블이 없는 데이터를 활용한 사전 훈련
5.1 텍스트 생성 모델 평가하기
__5.1.1 GPT를 사용해 텍스트 생성하기
__5.1.2 텍스트 생성 손실 계산하기
__5.1.3 훈련 세트와 검증 세트의 손실 계산하기
5.2 LLM 훈련하기
5.3 무작위성을 제어하기 위한 디코딩 전략
__5.3.1 온도 스케일링
__5.3.2 탑-k 샘플링
__5.3.3 텍스트 생성 함수 수정하기
5.4 파이토치로 모델 로드하고 저장하기
5.5 오픈AI에서 사전 훈련된 가중치 로드하기
5.6 요약

6장 분류를 위해 미세 튜닝하기
6.1 여러 가지 미세 튜닝 방법
6.2 데이터셋 준비
6.3 데이터 로더 만들기
6.4 사전 훈련된 가중치로 모델 초기화하기
6.5 분류 헤드 추가하기
6.6 분류 손실과 정확도 계산하기
6.7 지도 학습 데이터로 모델 미세 튜닝하기
6.8 LLM을 스팸 분류기로 사용하기
6.9 요약

7장 지시를 따르도록 미세 튜닝하기
7.1 지시 미세 튜닝 소개
7.2 지도 학습 지시 미세 튜닝을 위해 데이터셋 준비하기
7.3 훈련 배치 만들기
7.4 지시 데이터셋을 위한 데이터 로더 만들기
7.5 사전 훈련된 LLM 로드하기
7.6 지시 데이터에서 LLM 미세 튜닝하기
7.7 응답을 추출하여 저장하기
7.8 미세 튜닝된 LLM 평가하기
7.9 결론
__7.9.1 다음 단계는?
__7.9.2 빠르게 발전하는 분야의 최신 정보 얻기
__7.9.3 맺음말
7.10 요약

부록 A 파이토치 소개
A.1 파이토치란 무엇인가요?
__A.1.1 파이토치의 세 가지 핵심 요소
__A.1.2 딥러닝이란?
__A.1.3 파이토치 설치
A.2 텐서 이해하기
__A.2.1 스칼라, 벡터, 행렬, 텐서
__A.2.2 텐서 데이터 타입
__A.2.3 자주 사용하는 파이토치 텐서 연산
A.3 모델을 계산 그래프로 보기
A.4 자동 미분을 손쉽게
A.5 다층 신경망 만들기
A.6 효율적인 데이터 로더 설정하기
A.7 일반적인 훈련 루프
A.8 모델 저장과 로드
A.9 GPU로 훈련 성능 최적화하기
__A.9.1 GPU 장치를 사용한 파이토치 계산
__A.9.2 단일 GPU 훈련
__A.9.3 다중 GPU 훈련
A.10 요약

부록 B 참고 및 더 읽을 거리

부록 C 연습문제 해답

부록 D 훈련 루프에 부가 기능 추가하기
D.1 학습률 웜업
D.2 코사인 감쇠
D.3 그레이디언트 클리핑
D.4 수정된 훈련 함수

부록 E LoRA를 사용한 파라미터 효율적인 미세 튜닝
E.1 LoRA 소개
E.2 데이터셋 준비하기
E.3 모델 초기화하기
E.4 LoRA를 사용한 파라미터 효율적인 미세 튜닝


[워크북 목차]
1장 대규모 언어 모델 이해하기
2장 텍스트 데이터 다루기
3장 어텐션 메커니즘 구현하기
4장 밑바닥부터 GPT 모델 구현하기
5장 레이블이 없는 데이터를 활용한 사전 훈련
6장 분류를 위해 미세 튜닝하기
7장 지시를 따르도록 미세 튜닝하기

부록 A 파이토치 소개
부록 D 훈련 루프에 부가 기능 추가하기
부록 E LoRA를 사용한 파라미터 효율적인 미세 튜닝

 

 

 

 

 

이 책은 단순히 LLM을 사용하는 방법을 넘어 GPT 같은 대화형 LLM을 직접 이해하고 구현하는 과정까지 안내하는 실전형 학습서다.

LLM이 무엇인지 GPT가 어떻게 구현되는지 실습과 연결되어 있다.

 

먼저 LLM이 무엇인지 기본 개념을 정리해 주고 관련된 기술에 관해서도 설명해 주고 있다.

그리고 밑바닥에서부터 학습할 수 있도록 LLM 구축 계획을 세우고 관련된 구조를 설명하고 있다.

어려운 수식이나 논문 스타일이 아닌 이해를 돕기 위해 이해하기 쉽게 그림으로 설명이 되어있다.

LLM이 무엇인지 설명해주고 있다.

 

GPT가 어떤 원리로 작동하는지 쉽게 설명하고 있다.

앞에서 LLM에 관해 설명했던 내용들로 구조를 설명해 주고 있다.

GPT 모델 구현방법을 설명해주고 있다.

 

그리고 인상적이였던 로드맵이다.

LLM 구현을 위한 3단계 학습으로 나누어져 있다.

3단계의 LLM 구조

 

그리고 전체적인 흐름을 설명하고 코드로 설명해 두었다.

이렇게 단계별로 나뉘어 있어 그냥 읽고 지나가는 게 아닌 LLM을 사용하는 수준을 넘어 차근차근 접근할 수 있도록 내용이 구성되어 있다.

세부적인 내용

 

간단한 예제를 사용해 단계별로 설명하여 접근하기 쉬운 실습으로 구성되어 있다.

이론도 예제 코드와 함께 설명되어 있어 실습을 병행하며 자연스럽게 이해할 수 있다.

예제 코드

그리고 워크북이 있다는 게 가장 좋았다.

밑바닥부터 만들면서 배우는 LLM 워크북

 

문제를 풀어보며 내가 개념을 잘 이해했는지 체크할 수 있어서 좋았다.

무려 답안지도 있다!

전공 공부할 때 항상 답답했던 건 이 문제에 대한 답이 맞는지가 궁금했다.

어디에도 나와 있지 않아서 답답할 때가 많았는데 정답도 제공하고 있어 너무 좋았다.

워크북 내용

 

---

[책 후기]

단순히 LLM을 사용하는 방법을 넘어 GPT와 같은 대화형 LLM이 어떻게 구현되는지를 차근차근 이해할 수 있도록 안내해 주는 책이었다.

책의 가장 큰 장점은 이론과 실습의 균형이 잘 맞춰져 있다는 점이었다.

먼저 LLM이 무엇인지 GPT가 어떤 방식으로 구현되어 있는지 기본 개념을 설명하고 이후 실제 구현 과정을 3단계 학습 흐름으로 나누어 설명되어 있어 따라가기가 좋을 거라 예상된다.

단순히 설명에서 그치지 않고 간단한 예제 코드와 실습 문제를 통해 직접 확인하고 응용할 수 있게 구성된 점이 인상 깊었다.

현재 진행 상황에 대해 나와 있어 내가 어디까지 학습했는지 알 수 있었다.

 

 

---

[추천 대상]

• ChatGPT 내부 원리가 궁금하신 분
• LLM을 직접 구현해 보고 싶은 개발자

이 책은 LLM을 단순히 사용하는 단계를 넘어 이해하고 구현하는 단계로 나아가고 싶은 분들께 큰 도움이 될 것 같다.

어렵게만 느껴지던 LLM 이론을 차근차근 풀어내고, 직접 실습으로 자기 것으로 만들 수 있는 훌륭한 안내서다.

---

[마무리]

이 책은 이론 + 코드 + 실습 + 정답까지 한 번에 챙겨갈 수 있는 학습서라고 생각한다.

LLM을 막연히 어렵게만 느끼던 저도 따라가면서 '아 나도 할 수 있구나!'라는 자신감을 얻을 수 있었다.

개인적으로 가장 좋았던 점은 워크북이었다.

전공 공부를 할 때는 내가 푼 답이 맞는 걸까? 하는 답답함이 있었는데 이 책은 친절하게 정답까지 제공해 주어 학습에 확신을 준다.

덕분에 이해가 부족한 부분은 바로 확인하고 보완할 수 있고 이 과정에서 성취감을 느낄 수 있다.

 

---

 

---

잘못된 정보는 댓글에 남겨주시면 감사하겠습니다!☺️

댓글과 좋아요는 큰 힘이 됩니다!