The RLHF Book 한국어판

 The RLHF Book 한국어판 

더 나은 AI를 만드는 LLM 강화학습 이론과 실제

네이선 램버트 지음 | 허정준 옮김
360쪽 | 35,000원 | 2026년 11월 19일 출간 | 185*240*22 | ISBN 9791124309209  (93000)

판매처 | [교보문고] [YES24] [알라딘] [영풍문고] + 전국 교보/영풍문고 매장
전자책 판매처 | [교보문고] [YES24] [알라딘] [리디북스] | 2026년 12월 출간 예정 

✔ 원서명: Reinforcement Learning from Human Feedback: LLM alignment and post-training
✔ 정오표: https://www.onlybook.co.kr/entry/rlhf-errata (아직 등록된 정오사항이 없습니다) 

▶ 책에 실린 예제 소스코드 경로: https://github.com/natolambert/rlhf-book

AI는 어떻게 좋은 답과 나쁜 답을 구별할까?

AI에게 “잘했다!”라고 말하면 무슨 일이 일어날까?

LLM 성능을 끌어올린
사후학습 전문가가 집대성한 RLHF 결정판!

AI 모델 정렬의 실무 기초를 다지려는
현업 엔지니어, AI 연구자, 학생을 위한 책!

 

| 이 책에서 다루는 내용 |
• 핵심 RLHF 구현과 직접 정렬 알고리즘
• 견고한 선호 데이터 및 합성 데이터 파이프라인 구축
• 모델 평가와 특정 AI 페르소나 설계

| 이 책의 대상 독자 |
이 책은 언어 모델링, 강화학습, 일반적인 머신러닝의 기초 지식을 갖춘 독자를 대상으로 한다.
모든 기술을 빠짐없이 상세하게 설명하기보다는 RLHF를 이해하는 데 꼭 필요한 핵심 기술을 중심으로 다룬다.

 

이 책의 구성

[1부 RLHF의 기초와 발전 과정 ]

1장 ‘RLHF는 언어 모델을 어떻게 바꾸는가’에서는 사람들이 왜 RLHF를 사용하고 RLHF가 모델에 어떤 영향을 주는 지에 관한 직관을 큰 틀에서 제시한다. 
2장 ‘RLHF의 아주 짧은 역사’에서는 핵심 관련 연구를 살펴보며, 과학의 발전이 어떻게 챗GPT의 등장으로 이어졌는지 간략이 짚어본다.
3장 ‘RLHF의 문제 설정과 학습 레시피’에서는 강화학습의 기본 개념을 살펴보고, 이런 기법들을 언어 모델에 적용할 때 무엇이 달라지는지 살펴본다. 

[2부 언어 모델 사후학습의 핵심 기법]

4장 ‘모델의 명령 수행 능력을 높이는 지시 미세 조정’에서는 모델이 질문과 답변 형식에 맞춰 응답하도록 지시 미세조정을 수행해 기초를 다진다. 
5장 ‘모델의 응답을 평가하는 보상 모델링’에서는 인간의 선호를 포착하도록 보상 모델을 학습시킨다. 
6장 ‘보상 신호로 정책을 개선하는 강화학습’에서는 이 보상을 기준으로 강화학습을 통해 모델을 최적화하는 방법을 설명한다.
7장 ‘추론 모델의 학습과 추론 시점 스케일링’에서는 검증 가능한 보상을 활용한 강화학습(RLVR)을 다룬다. 
8장 ‘직접 정렬 알고리즘’에서는 직접 선호 최적화(DPO)와 같은 직접 정렬 알고리즘(DAA)을 소개한다. 이러한 알고리즘은 RLHF의 진입 장벽을 크게 낮췄다.  
9장 ‘좋은 응답을 골라 학습하는 거부 샘플링’에서는 메타의 라마 2와 라마 3 같은 주요 모델에 사용된 또 다른 단순한 RLHF 방법인 거부 샘플링(rejection sampling)을 다룬다.

[3부 인간의 선호와 학습 데이터]

10장 ‘정답 대신 선호를 학습한다는 것’에서는 선호란 실제로 무엇이고 왜 중요한지를 묻는다. 이를 통해 RLHF가 AI 기술 연구를 넘어 다양한 학문 분야와 어떻게 연결되는지 설명한다. 
11장 ‘선호 데이터 수집과 편향’에서는 실무에서 선호 데이터를 어떻게 수집하고 선별하는지 다룬다. RLHF 분야가 발전하면서 AI 모델이 생성한 합성 데이터가 학습 파이프라인에서 점점 더 핵심적인 역할을 하게 되었다. 
12장 ‘합성 데이터와 증류, AI 피드백’에서는 합성 데이터 생성과, 일련의 원칙에 따라 모델이 스스로 피드백을 생성하는 앤트로픽의 헌법적 AI(constitutional AI, CAI)를 다룬다. 

[4부 사후학습의 응용, 안정화, 평가]

13장 ‘도구 사용과 함수 호출’에서는 도구 사용과 함수 호출을 살펴본다. 확률적으로 작동하며 학습 이후에는 가중치가 고정되는 모델의 근본적인 한계를 보완하기 위해, 외부 도구 및 API와 상호작용하도록 모델을 학습시키는 방법을 설명한다. 
14장 ‘보상을 지나치게 최적화하면 생기는 문제’에서는 인간의 선호를 근사하도록 보상 모델을 학습시키는 과정에서 보상 해킹 문제가 발생하는 이유와 이를 완전히 해결하기 어려운 이유를 살펴본다. 
15장 ‘모델의 변화를 제어하는 정규화’에서는 이러한 최적화가 지나치게 진행되지 않도록 제어하는 정규화 기법을 소개하며, 특히 쿨백-라이블러 발산(KB 발산)에 기반한 페널티를 중점적으로 설명한다.
16장 ‘사후학습의 효과를 검증하는 모델 평가’에서는 끊임없이 발전하는 벤치마크의 동향을 살펴보고, 사후학습을 통해 모델의 성능이 실제로 향상되었는지 측정하는 방법을 설명한다. 
17장 ‘모델의 성격과 제품 설계’에서는 제품, 사용자 경험, 모델의 성격을 다룬다. 배포된 모델의 성격과 행동을 RLHF가 어떻게 형성하는지, 그리고 AI 연구소가 자사 제품에 맞도록 학습을 어떻게 조정하는지 논의하며 책을 마무리한다.

추가로, RLHF를 더 깊이 탐구하는 데 도움이 되는 3개의 부록과 자료들을 제공한다. 핵심 기법을 이해하는 데 반드시 필요한 내용은 아니지만, 관련 개념을 보충하거나 더 깊이 공부할 때 유용하게 활용할 수 있다. 강화학습, 언어 모델링, 기타 기초 개념의 수학적 정의는 부록 A에 모아두었다. 부록 B는 스타일과 정보를, 부록 C는 실제 학습 과정에서 마주하는 실용적인 문제를 다룬다.

추천의 글

AI의 능력이 빠르게 발전할수록, 그 능력을 인간의 의도에 맞게 안전하게 통제하는 일은 더욱 중요해집니다. RLHF는 이를 위한 핵심 기술이며, 이 책은 보상 모델링과 PPO부터 DPO, GRPO까지 사후학습 기술의 발전 과정을 원리와 코드로 연결해, 각 접근법의 쓰임을 스스로 판단할 수 있도록 돕습니다. 특히 공개 가중치 모델을 직접 다루는 경험은 AI를 막연한 블랙박스가 아니라, 이해하고 제어할 수 있는 엔지니어링 대상으로 바라보는 시야를 가질 수 있게 해줍니다.
AI가 코딩과 실험까지 수행하는 시대, 단순한 구현을 넘어 문제를 진단하고 해결 방향을 스스로 판단하는 역량을 기르고 싶은 분들에게 이 책은 탁월한 선택이 될 것입니다.
- 박찬성 / 한국전자통신연구원 선임연구원, 국가AI전략 과학인재 분과위원

RLHF는 챗GPT 이후 가장 많이 언급된 기술이지만 관련 내용이 잘 정리된 콘텐츠는 찾기가 어렵습니다.
이 책은 선호 데이터와 보상 모델에서 출발해 강화학습, DPO, 추론 모델까지 RLHF의 흐름을 모두 담아낸 완벽 가이드입니다. 그 흐름을 따라가다 보면 LLM을 바라보는 관점이 더 넓어지며, 모델이 특정 말투로 왜 답하는지, 어떤 요청은 왜 거절하는지를 자연스럽게 이해할 수 있습니다. 핵심을 알고 나면 PPO, DPO, 보상 모델 같은 용어가 더 이상 낯설지 않게 될 거고, 나아가 모델을 목적에 맞게 직접 다듬어야 할 때 수많은 기법 중 어떤 방법을 고르고 무엇을 조심해야 할지 판단할 기준도 생깁니다.
점수만 높게 받으려다 모델이 엉뚱하게 망가지는 이유까지 알고 나면, LLM 벤치마크를 이해하고 모델을 평가하는 시각도 깊어질 것입니다. 기법은 계속 바뀌겠지만, 이렇게 쌓은 기본기가 있다면 새 모델이나 방법론이 나와도 어렵지 않게 따라갈 수 있을 겁니다.
LLM을 ‘쓰는 사람’에서 ‘이해하는 사람’으로 나아가고 싶은 분께 이 책을 추천합니다.
- 변성윤 / 카일스쿨

GPT-3.5가 세상을 뒤흔든 챗GPT로 거듭나는 데 핵심적인 역할을 한 기술은 무엇일까? 바로 인간 피드백 기반 강화학습(RLHF)을 비롯한 사후학습이다. 그러나 그 구체적인 방법과 노하우는 오랫동안 소수 빅테크를 중심으로 축적되어 왔다. 오픈 언어모델(Tülu) 개발에 참여해 온 네이선 램버트의 이 책은 사후학습의 전 과정을 한눈에 조망할 수 있도록 체계적으로 엮은 참고서다. 지시 미세조정, 보상 모델링, 강화학습, 직접 선호 최적화(DPO)부터 추론 스케일링, 합성 데이터, 평가에 이르기까지 폭넓게 다룬다.
LLM을 ‘활용하는’ 데서 한 걸음 더 나아가, 원하는 목적과 가치에 맞게 모델을 ‘정렬하고 다듬으려는’ AI 개발자와 연구자, 대학원생에게 이 책을 권한다. 직관적인 설명에 수식과 코드 예제가 더해져, 독자는 자신의 배경지식과 필요에 맞춰 개념을 이해하고 구현으로 나아갈 수 있다.
오늘날 파운데이션 모델을 처음부터 학습하기 어려운 환경에서는 공개 모델을 어떻게 다듬고 특화하느냐가 중요한 경쟁력이 된다. 이 책은 보상 설계와 정렬의 원리를 바탕으로 공개 모델을 자신의 도메인과 서비스에 맞게 다듬는 길잡이이자, 나아가 AI 에이전트의 학습을 이해하고 설계하는 데에도 든든한 기초가 될 것이다.
- 손영성 / ETRI 책임연구원, UST 교수, 에이아이프렌즈 학회장

스스로 가설을 세우고 실험하는 AI 과학자를 연구하며 늘 부딪힌 질문은 ‘무엇이 좋은 결과인지 모델에게 어떻게 알려줄 것인가’였다. 이 책은 그 질문에 대한 가장 체계적인 답이다. 보상 모델과 강화학습, 직접 정렬 기법, 검증 가능한 보상을 활용한 추론 모델 학습까지, 사후학습의 전 과정을 원리와 실제 양쪽에서 꼼꼼히 정리했다. 더 나은 AI를 만들고 싶은 연구자와 실무자에게 든든한 길잡이가 될 것이다.
- 유용균 / 국가과학기술연구회 국가과학AI연구센터(NAIS) 센터장

에이전틱 AI로 모든 주제가 통합되어 가는 시기에, 현대 생성형 AI의 기반이 되는 언어 모델을 학습하는 패러다임은 사전학습에서 미세조정을 넘어 강화학습으로 그 중요성이 점점 이동하고 있다.
클로드 코드, 코덱스 같은 코딩 에이전트들의 성능이 급격히 올라가고, 사람보다 더 뛰어난 개발 실력을 보여주는 AI를 만들기 위해선 수많은 코드 학습과 어떤 코드가 올바른 코드인지 학습하는 방법도 필요하다. 언어 모델을 더욱 친절한 AI, 똑똑한 AI로 만드는 과정 중 ‘사후학습’이라고 부르는 많은 학습은 이 책에서 다루는 RLHF을 비롯한 강화학습이 가장 주된 성능 향상의 방법으로 알려져 있지만, 지도 미세조정(SFT) 같은 간단한 작업들 외에 대규모로 언어 모델 강화 학습을 다루는 자료는 많지 않았다.
이 책은 강화학습의 여러 학습 기법과 데이터 준비, 그리고 에이전틱 워크플로를 위한 내용까지 광범위하게 다루며, 언어 모델 강화학습을 처음 접할 때 실수할 수 있는 다양한 내용까지 알려준다.
이 책이 언어 모델 학습을 단순 미세조정만 하던 사람이 좀 더 현대적인 언어 학습의 트렌드를 따라가기 위한 좋은 사다리가 되어주리라 믿는다.
- 이준범 / 래블업 연구원, AI 구글 디벨로퍼 엑스퍼트

AI 프로덕트와 솔루션을 만드는 현장의 고민은 모델의 발전을 사용자가 체감하는 가치로 연결하는 데 있다. 모델을 직접 만들지 않더라도, 어떤 원리와 과정을 거쳐 모델이 개선되는지 이해하는 일은 중요하다. 새로운 모델과 기법이 쏟아지는 지금일수록, 이러한 이해는 모델의 가능성과 한계를 가늠하고 연구개발의 다음 방향을 판단하는 바탕이 된다.
이 책은 인간의 피드백을 활용한 강화학습을 중심으로, 사후학습과 정렬의 주요 개념과 다양한 접근을 체계적으로 풀어낸다. 모델을 만드는 연구자뿐 아니라, 이를 활용해 제품과 서비스를 만드는 실무자에게도 의미 있는 책이다. 빠르게 변하는 기술 속에서 기본을 다지고, 연구와 제품의 다음 방향을 고민할 때 곁에 두고 참고할 만하다.
- 정영현 / 코르카 대표

RLHF의 이론적 토대부터 실무에 필요한 도구까지 탁월하게 아우른 책이다.
- 사우라브 사완트(Saurabh Sawant) / 마이크로소프트

강화학습에 관한 가장 완벽한 백과사전
- 세바스찬 라시카(Sebastian Raschka) / 『밑바닥부터 만들면서 배우는 LLM』 저자

오늘날 RLHF에 관한 가장 완벽하고 실용적인 책
- 앤드루 카(Andrew Carr) / 카트휠

현대 AI 모델의 사후학습 기술 전반을 이해하기 위한 필독서
- 에드워드 비칭(Edward Beeching) / 허깅페이스

강화학습의 기초부터 오늘날 가장 널리 사용되는 모던 알고리즘까지, 모든 것을 다루는 최초의 완벽 가이드
- 세르게이 레빈(Sergey Levine) / UC 버클리

수년에 걸친 연구 성과를 누구나 쉽게 이해할 수 있는 형태로 훌륭하게 정리했다.
- 야신 저나이트(Yacine Jernite) / 허깅페이스

오늘날 AI 모델 개발의 핵심이라 할 RLHF와 사후학습을 차세대 AI 실무자들에게 이 책의 저자 네이선만큼 잘 설명할 사람은 없을 것이다.
- 아르빈드 나라야난(Arvind Narayanan) / 프린스턴대학교

여는 글

AI 분야에는 거의 누구도 공개적으로 말하지 않는 간극이 있다. 바로 최첨단 AI 모델을 개발하는 비공개 연구소들이 알고 있는 지식과 대중에게 공개된 지식 사이의 격차다. 몇몇 영리 기업에서 특정 기술이 표준적인 방법으로 자리 잡아도, 논문에서는 ‘연구 방법(Methods)’ 항목의 한 문단 정도로만 소개되기도 한다. 그 기술을 실제로 구현한 실무자들은 곧바로 다음 연구로 넘어간다. 그러고는 일 년쯤 뒤, 다른 곳의 연구팀이 반나절이면 설명할 수 있었을 기술을 재현하는 데 4개월이라는 시간을 쏟아붓는다. 누구도 그 기술을 제대로 기록해 두지 않았기 때문이다. 애초에 그 일을 맡은 사람도 없었다.
네이선 램버트는 이 분야에서 축적된 지식을 설명하고 기록하는 일을 솔선해서 자처해 왔다. 이 책은 그가 LLM에 관해 지금까지 기울여온 모든 노력의 결실이다. 네이선이 2022년 5월 허깅페이스에 합류했던 당시, 우리는 수십 개 기관에 속한 수백 명의 연구자와 힘을 합쳐서 그때까지 수행된 완전 공개 언어 모델 학습 중 가장 규모가 큰 블룸(BLOOM) 개발을 막 완료한 참이었다. 연구팀은 새로 꾸려진 지 얼마 되지 않았고, 다음에 무엇을 해야 할지 아는 사람은 아무도 없었다.
그해 여름, 네이선은 첫 연구팀 오프사이트 모임에 참석하러 파리에 왔다. 그 후 1년 반 동안 유럽과 미국 서부 해안의 8~9시간에 달하는 시차를 넘어, 우리는 달리기와 연구에 관한 이야기부터 AI 분야가 나아갈 방향, 그리고 모든 것이 기록할 틈조차 없이 빠르게 변화하는 상황에서 좋은 과학 연구란 무엇인가에 이르기까지 다양한 주제를 함께 고민했다.
RLHF 자체는 새로운 것이 아니었다. 2017년에 크리스티아노(Christiano)와 동료들이 선호 기반 심층 강화학습을 체계화했고, 2019년에 지글러(Ziegler)가 이를 언어 모델에 적용했으며, 2022년 초에는 인스트럭트GPT 논문을 통해 RLHF의 전체 학습 과정이 공개됐다. 새로운 것은 2022년 11월, 지적 충격이라 해도 좋을 만큼 갑작스럽게 등장한 챗GPT였다. 그 충격이 AI 연구 분야 전체를 끌어들였다. 모두가 RLHF를 하고 싶어 하자 냉엄한 현실이 드러났다. RLHF를 실제로 수행하는 데 필요한 실무 지식은 공개된 어떤 곳에도 거의 기록되어 있지 않았다.
9장은 문헌의 뜻밖의 공백을 잘 보여주는 사례다. 거부 샘플링은 웹GPT와 라마 등에 쓰이며 사후학습에서 가장 널리 사용되는 기법 중 하나다. 그러나 어디에서도 표준적인 구현 방법을 찾아볼 수 없으며, 이것이 왜 작동하는지에 대한 설명도 거의 없다. 모두가 사용하면서도 아무도 글로 남기지 않았다. 적어도 지금까지는 그랬다.
올해 초 네이선과 오랜만에 이야기를 나눴을 때, 그는 허깅페이스에서 보낸 시간 동안 대학원 시절에는 부분적으로만 생각했던 많은 아이디어가 ‘결정화됐다’고 표현했다. 그가 말한 ‘결정화’라는 표현은 한참 동안 내 머릿속을 맴돌았다. 이 책 역시 그런 결정화의 산물이다. 네이선자신의 생각과 튜토리얼, 글을 집대성했을 뿐 아니라, 직접 부딪치며 발전해 왔지만 그 과정에서 쌓은 지식을 제대로 기록할 기회가 없었던 AI 연구 분야의 성과까지 한데 모아 ‘결정화’했기 때문이다.
오픈소스에는 코드만 필요한 것이 아니다. 그 코드가 왜, 어떻게 작동하는지 이해할 수 있게 해주는 지식도 필요하다. 바로 ‘오픈 사이언스’다. 라이브러리를 공개하는 일이 중요한 이유는 사람들의 머릿속에 갇혀 있던 이해를 공유해, 우연히 적절한 순간에 적절한 방에 있었던 사람들뿐만 아니라 누구나 그 지식에 접근할 수 있게 하기 때문이다. 이 책에서 네이선은 보상 모델부터 선호란 도대체 무엇인가라는 철학적 질문에 이르기까지, 소수에게만 열려 있던 지식의 문을 모두에게 열어주었다. 네이선은 라이브 튜토리얼부터 블로그 글까지, 하나의 개념을 여러 방식으로 거듭 설명하면서 마침내 사람들이 이해할 수 있는 최적의 표현을 찾아낸 사람만이 할 수 있는 ‘명료함’으로 이 책을 완성했다.
변화가 워낙 빠른 분야이다 보니, 집필에 여러 해가 걸린 책은 출간되기도 전에 내용이 낡아버릴 수 있다. 하지만 이 책의 내용은 결코 그렇지 않다. 앞으로도 쉽게 낡지 않을 것이다. RLHF 파이프라인과 보상 모델, 정책 경사법을 다루는 초반부 장들은 이제는 비교적 잘 알려진 내용이 명료하고 체계적으로 정리되어 있다. 그러나 이 책은 거기서 멈추지 않고, 오늘날 가장 중요한 최신 주제들까지 빠짐없이 다룬다. 7장은 추론 모델과 추론 시점 스케일링을, 10장은 선호의 본질을, 11장은 대규모 선호 데이터 수집을 둘러싼 불투명한 현실을, 12장은 합성 데이터와 AI 피드백을, 16장과 17장은 평가와 모델의 성격을 다듬는 새로운 기술을 다룬다. 이 모두가 오늘날 AI 연구의 최전선에 놓인 주제들이다. 이 책은 아직 밝혀지지 않은 것이 많은 최신 연구 주제들도 이미 확립된 기초 이론만큼이나 세심하게 다룬다. 우리의 지식이 닿는 경계까지 깊이 파고드는 것이다. 오픈 리서치와 오픈 사이언스가 추구해 온 목표도 바로 여기에 있다.
네이선은 2023년 9월 허깅페이스를 떠나 앨런 AI 연구소(Ai2)로 옮겼다. 그는 겨울 휴가와 여러 업무 틈틈이 시간을 내어 이 책을 완성했다. 그사이에도 IA 분야는 끊임없이 발전했다. 그럼에도 네이선은 끝까지 책을 써서 완성했다. 그의 끈기 덕분에 우리 모두가 이 책을 읽을 수 있게 되었음이 참으로 다행스럽다.
- 토마스 울프(Thomas Wolf) / 허깅페이스 공동 창업자 및 최고과학책임자

지은이 네이선 램버트 Nathan Lambert

앨런 AI 연구소에서 사후학습 연구를 이끄는 저명한 AI 연구자다. 이전에는 허깅페이스, 딥마인드, 메타에서 경력을 쌓았다.
오픈 모델의 열렬한 옹호자로서 AI 기술에 대한 접근성과 이해를 높이는 일에 집중하며, 독자들이 폐쇄적인 기업 연구소 밖에서도
AI 발전에 기여할 수 있도록 돕는다.

나는 UC 버클리 대학원 시절에 AI에 관심을 갖게 됐다. 2017년 여름 버클리에 도착한 나는 딥러닝이 컴퓨터과학계를 폭풍처럼 휩쓸고 있다는 사실을 알게 됐다. 트랜스포머를 소개한 유명한 논문 「Attention Is All You Need」가 발표된 때도 바로 그해 여름이었다는 사실은 전혀 몰랐다. 몇 년 후 박사 학위를 받고 머신러닝 플랫폼 기업인 허깅페이스에서 일하던 무렵, 챗GPT가 등장해 전 세계의 관심을 사로잡았다.
여기서 이 책의 주제인 인간 피드백을 활용한 강화학습(RLHF)으로 이야기가 이어진다. RLHF는 챗GPT 출시 이후 단숨에 주목받기 시작했다. GPT-3.5를 우리가 열광했던 챗GPT로 탈바꿈시킨 핵심 기술이 바로 RLHF이기 때문이었다. 나는 지난 몇 년간 챗GPT 같은 모델을 개발하는 공개 연구에 참여해 왔다. 그러면서 이런 모델을 실제로 만드는 방법에 관한 정보가 놀라울 정도로 적게 공개되어 있다는 사실에 매번 충격을 받았다. 흔히 사용하는 학습 알고리즘의 기본적인 정의조차 찾아보기 어려울 정도였다. 이 책의 목표는 RLHF가 하나의 확립된 연구 분야로 자리 잡아가는 과정에서 표준적인 참고서 역할을 하는 것이다.
나는 약 3년 전 내가 언어 모델을 위한 RLHF를 처음 공부하기 시작했을 때 간절히 원했던 바로 그런 책을 직접 쓰고자 했다. 그동안 나는 RLHF와 사후학습이 일부 연구자들만 관심을 갖던 주제에서 현대 AI 시스템의 작동 방식을 결정하는 핵심 기술로 발전하는 과정을 직접 지켜봤다.
이미 사후학습은 RLHF와 관련된 여러 학습 기법을 아우르는 전문 용어로 자리 잡았다. 모델의 규모가 커지면서 학습 과정에서 인간 데이터가 담당하는 역할도 변해왔다. 그 결과 RLHF는 연구소, 오픈소스 커뮤니티, 모든 규모의 기업이 끊임없이 실험하고 반복하며 새로운 방법을 발표하는, 빠르게 발전하는 분야가 되었다.
RLHF를 처음 공부하는 일은 필요 이상으로 복잡하게 느껴질 수 있다. RLHF에는 강화학습과 지도학습은 물론, 인간-컴퓨터 상호작용(HCI), 철학, 경제학, 실용적인 소프트웨어 공학에 이르기까지 다양한 분야의 개념이 녹아 있기 때문이다. 더욱이 세상에 나와 있는 설명 대부분은 독자가 이런 분야에 이미 충분한 배경지식을 갖추고 있다고 가정한다. 이 책은RLHF에 더 쉽게 다가갈 수 있도록 만들었다. RLHF가 실무에서 어떻게 작동하고 어떤 방향으로 계속 발전하는지를 명확한 지도로 보여준다. 독자마다 선호하는 학습 방식이 다르다는 점도 충분히 고려했다. 머신러닝 알고리즘의 장단점을 코드 없이 글로 이해하고 싶은 독자, 코드 예제를 직접 살펴보며 개념을 익히고 싶은 독자, 좀 더 이론적인 접근을 원하는 독자 모두가 자신에게 맞는 방식으로 이 책을 읽을 수 있다. 빠르게 변화하는 RLHF 분야를 탐구하는 과정에서 이 책이 언제든 믿고 찾아볼 수 있는 참고서가 되기를 바란다.
RLHF를 탐구하는 여정에 함께해 준 독자 여러분께 감사하다. 지난 몇 년간의 연구와 노력을 정리하고 다듬어 한 권의 책으로 펴내, 나날이 성장하는 AI 커뮤니티의 독자들에게 선보일 수 있어 무척 기쁘다. 이 책이 여러분의 실세계 책장과 온라인 서가 모두에서 오랫동안 사랑받기를 바란다.

옮긴이 허정준 

LLM 애플리케이션과 AI 에이전트를 전문으로 하는 독립 AI 컨설턴트이자 교육자로 활약해 왔으며, 현재는 모티프에서 모델 개발, 시스템 최적화 업무를 맡고 있다.
국내 첫 매닝(Manning) 출판사 저자로서 『Building an AI Agent From Scratch』(매닝, 2026)를 출간했으며 이 책은 곧 『한 땀 한 땀! 나의 첫 AI 에이전트』(책만, 2026)라는 번역서로 출간되어 호평을 받고 있다. 국내 최초의 LLM 서적으로 베스트셀러에 오른 『LLM을 활용한 실전 AI 애플리케이션 개발』(책만, 2024)을 저술했으며, ML옵스와 LLM옵스로 완성하는 AI 시스템 구축을 다루는 『머신러닝 플랫폼 엔지니어링』(책만, 2026)도 번역했다.

최근 공개된 대표적인 오픈 모델들은 사후학습, 특히 강화학습이 오늘날 대규모 언어 모델(LLM)의 발전에서 얼마나 중요한 역할을 하는지 보여줍니다. 미모(MiMo) V2.6은 대규모 강화학습의 진행 상황을 실시간으로 공개하며, 학습이 진행되면서 과제 수행 능력이 개선되는 모습을 보여주었습니다. 키미(Kimi) K3.1 Pro는 K3를 기반으로 사후학습 계산량을 크게 늘려 여러 단계를 거쳐 과제를 완수하는 능력을 개선했습니다. 딥시크(DeepSeek) V4.1-Flash-1017은 자기 피드백을 활용한 강화학습으로 프로젝트 개발 능력을 높이고 작업 시간과 출력 길이도 줄였다고 발표했습니다. 이 사례들은 모델의 발전을 이해할 때 규모와 아키텍처뿐만 아니라, 어떤 환경에서
무엇을 시도하고 어떤 피드백을 받아 학습했는지도 살펴봐야 한다는 점을 보여줍니다.
이러한 변화 속에서 강화학습은 모델이 더 나은 답변과 행동을 학습하는 과정을 이해하는 데 중요한 주제가 되었습니다. 무엇을 좋은 결과로 평가하고, 그 평가를 학습에 어떻게 반영해야 할까요? 학습한 모델이 실제로 더 나아졌는지는 어떻게 확인할 수 있을까요? 이 책은 선호 데이터와 보상 모델, 정책 최적화, 정규화와 평가를 통해 이 질문들을 차례로 다룹니다. 독자는 각 기법의 작동 방식을 익히고, 새로운 학습 방법을 접할 때도 그 방법이 왜 필요하며 어떤 한계가 있는지 이해할 수 있습니다.
이 책에는 다양한 학습 방법을 설명하는 수식이 많이 등장합니다. 저 역시 번역하면서 이 수식을 모두 이해해야 하는지 부담을 느꼈고, 독자분들도 비슷한 어려움을 겪으실 수 있다고 생각합니다. 저는 각 수식이 어떤 문제를 풀기 위해 등장했는지 먼저 살펴봤습니다. 왜 보상 점수를 높이는 것만으로는 충분하지 않은지, 왜 모델의 변화를 제한해야 하는지, 그리고 수식의 어떤 부분이 그 문제를 다루는지에 집중했습니다. 그러자 개별적으로 보이던 여러 방법이 공통된 문제에 대한 각기 다른 해법으로 연결되기 시작했습니다. 독자분들도 처음부터 모든 유도를 완벽히 따라가려 하기보다, 해결하려는 문제와 수식이 어떻게 연결되는지 살펴보는 데서 시작해 보시면 좋겠습니다.
언어 모델을 위한 강화학습은 여전히 많은 질문이 열려 있고, 새로운 방법과 실험 결과가 빠르게 등장하는 분야입니다. 이 책은 그 흐름을 이해하는 데 필요한 이론과 방법을 체계적으로 정리하고 있습니다. 이 책이 독자분들께 앞으로의 발전을 이해하고, 각자의 문제에 맞는 학습 방법을 탐구하는 데 도움이 되기를 바랍니다.

 

차례

[1부] RLHF의 기초와 발전 과정

1장 RLHF는 언어 모델을 어떻게 바꾸는가
1.1 RLHF의 세 단계
1.2 RLHF는 무엇을 하는가
1.3 RLHF 레시피 살펴보기
1.4 사후학습에 대한 직관
1.5 지금에 이르기까지 
1.6 RLHF의 미래
1.7 정리

2장 RLHF의 아주 짧은 역사
2.1 기원부터 2018년까지: 선호 기반 강화학습
2.2 2019년부터 2022년까지: 언어 모델에 적용한 인간 선호 기반 강화학습
2.3 2023년부터 현재까지: 챗GPT 시대
2.4 정리

3장 RLHF의 문제 설정과 학습 레시피
3.1 문제 정식화
__3.1.1 간단한 예: 온도 조절기
__3.1.2 고전적인 강화학습 예제: 카트폴 
__3.1.3 표준 강화학습 설정 변형하기
__3.1.4 미세조정과 정규화
__3.1.5 최적화 도구
__3.1.6 언어 모델 사후학습에서 강화학습이 지닌 잘 드러나지 않는 장점
3.2 대표적인 학습 레시피
__3.2.1 인스트럭트GP
__3.2.2 튈루 
__3.2.3 딥시크 R1
3.3 정리

[2부] 언어 모델 사후학습의 핵심 기법

4장 모델의 명령 수행 능력을 높이는 지시 미세조정
4.1 채팅 템플릿과 지시문의 구조
4.2 지시 미세조정의 모범 사례
4.3 구현 세부 사항
4.4 정리

5장 모델의 응답을 평가하는 보상 모델링
5.1 브래들리-테리 보상 모델 학습
5.2 구현 예시
5.3 보상 모델의 변형
__5.3.1 선호 마진 손실
__5.3.2 프롬프트당 여러 비교의 균형 맞추기
__5.3.3 K항목 단위 손실 함수
5.4 결과 보상 모델
5.5 과정 보상 모델
5.6 보상 모델 유형과 가치 함수 비교
__5.6.1 보상 모델 유형별 추론
5.7 생성형 보상 모델링(일명 LLM 심사위
5.8 더 읽을거리
5.9 정리

6장 보상 신호로 정책을 개선하는 강화학습
6.1 RLHF에서 강화학습의 역할
6.2 정책 경사 알고리즘
__6.2.1 정책 경사 유도
__6.2.2 기본 정책 경사
__6.2.3 REINFORCE
__6.2.4 REINFORCE 리브 원 아웃
__6.2.5 근접 정책 최적화
__6.2.6 PPO 목적함수 이해하기
__6.2.7 가치 함수와 PPO
__6.2.8 그룹 상대 정책 최적화
__6.2.9 그룹 시퀀스 정책 최적화
__6.2.10 클리핑 중요도 샘플링 정책 최적화
__6.2.11 알고리즘 비교
6.3 구현
__6.3.1 정책 경사의 기초
__6.3.2 손실 집계의 트레이드오프
__6.3.3 비동기 강화학습 시스템
__6.3.4 절단 중요도 샘플
__6.3.5 예: PPO
__6.3.6 예: GRPO
__6.3.7 RLOO와 GRPO
6.4 부가 주제
__6.4.1 일반화 어드밴티지 추정
__6.4.2 이중 정규화
6.5 더 읽을거리
6.6 정리

7장 추론 모델의 학습과 추론 시점 스케일링
7.1  RLVR의 역할
7.2 새로운 추론 모델의 기원
__7.2.1 RL은 왜 이제야 작동하는가
__7.2.2 RL 학습과 추론 시점 스케일링
__7.2.3 RLVR의 미래: 추론을 넘어서
7.3 추론 학습 방법 이해하기
__7.3.1 오픈AI o1과 딥시크-R1 이전의 추론 연구
__7.3.2 초기 추론 모델
__7.3.2 추론 모델 학습의 일반적인 방법
7.4 앞으로의 전망
7.5 정리

8장 직접 정렬 알고리즘
8.1 직접 선호 최적화 
__8.1.1 DPO의 작동 방식
__8.1.2 DPO 유도
8.2 수치적 고려사항, 약점, 대안
8.3 구현 세부 사항
8.4 합성 선호 데이터를 사용하는 DAA
8.5 DAA 대 RL: 온라인 데이터 대 오프라인 데이터
8.6 정리

9장 좋은 응답을 골라 학습하는 거부 샘플링
9.1 단계별 학습 과정
__9.1.1 응답 생성하기
__9.1.2 생성 응답에 점수 매기기
__9.1.1 미세조정
9.2 구현 세부 사항
9.3 관련 방법: 베스트 오브 N 샘플링
9.4 정리

[3부] 인간의 선호와 학습 데이터

10장 정답 대신 선호를 학습한다는 것
10.1 정답 대신 선호를 사용할 때
10.2 RLHF와 선호의 기원
10.3 목표 정의하기: 효용의 논리에서 보상 함수까지
10.4 효용 최적화를 위한 도구
10.5 선호 최적화의 복잡성
10.6 정리 

11장 선호 데이터 수집과 편향
11.1 선호 데이터가 필요한 이유
11.2 선호 데이터 수집하기
__11.2.1 인터페이스 
__11.2.2 순위와 평점
__11.2.3 멀티턴 데이터
__11.2.4 구조화된 선호 데이터
__11.2.5 조달과 계약
11.3 편향: 데이터 수집에서 주의할 점
11.4 RLHF 선호 데이터의 미해결 질문
11.5 정리

12장 합성 데이터와 증류, AI 피드백
12.1 합성 데이터의 역할
12.2 합성 데이터를 활용한 증류
12.3 현재 정책 기반 교사-학생 증류에 이르는 길
__12.3.1 언어 모델에 맞춘 지식 증류
__12.3.2 오프라인 증류에서 현재 정책 기반 증류로
__12.3.3 현대의 현재 정책 기반 증류 변형
12.4 AI 피드백
__12.4.1 AI 피드백 데이터와 인간 피드백 데이터의 균형
__12.4.2 판단 전용 LLM 구축하기
12.5 헌법적 AI 
__12.5.1 헌법적 AI 추가 읽을거리
12.6 평가 기준표: 학습을 위한 프롬프트별 AI 피드백
12.7 정리

[4부] 사후학습의 응용, 안정화, 평가

13장 도구 사용과 함수 호출
13.1 도구 사용 개요
13.2 생성 과정에 도구 호출 결합하기
13.3 다단계 도구 추론
13.4 모델 컨텍스트 프로토콜
13.5 구현 세부 사항
13.6 정리 

14장 보상을 지나치게 최적화하면 생기는 문제
14.1 정성적인 과도한 최적화
__14.1.1 대리 목적함수 관리
__14.1.2 과도한 거부와 ‘지나친 RLHF’
14.2 정량적인 과도한 최적화
14.3 정렬 실패와 RLHF의 역할
14.4 정리

15장 모델의 변화를 제어하는 정규화
15.1 RL 최적화에서의 KL 발산
__15.1.1 참조 모델과 생성 응답 비교
__15.1.2 구현 예시
15.2 암묵적 정규화 
__15.2.1 SFT는 암기하고 RL은 일반화한다
__15.2.2 직접 수행하며 지식을 유지하기: 현재 정책에서 생성한 데이터는 망각을 완화한다
__15.2.3 RL의 면도날: 온라인 RL이 덜 망각하는 이유
15.3 기타 정규화 기법
__15.3.1 사전학습 경사
__15.3.2 마진 기반 정규화
15.4 정리

16장 사후학습의 효과를 검증하는 모델 평가
16.1 프롬프트 형식
__16.1.1 퓨샷 프롬프팅과 로그 우도 채점
__16.1.2 사고 연쇄 프롬프팅
__16.1.3 제로샷 지시 따르기
__16.1.4 추론 시대의 평가 프롬프트
16.2 많은 외부 평가 비교가 신뢰하기 어려운 이유
16.3 연구소는 내부 평가를 실제로 어떻게 활용해 모델을 개선하는가
16.4 오염
16.5 평가 도구
16.6 정리

17장 모델 캐릭터와 제품 설계
17.1 캐릭터 학습
__17.1.1 페르소나 벡터
__17.1.2 어시스턴트 축
__17.1.3 페르소나 부분망
17.2 모델 명세
17.3 제품 개발 주기와 RLHF의 다음 단계
17.4 정리

부록 A | 개념과 용어 정의 
부록 B | ‘단순한 스타일’을 넘어서
부록 C | 실무상의 문제