強(qiáng)化學(xué)習(xí)基礎(chǔ)、原理與應(yīng)用

第1章  強(qiáng)化學(xué)習(xí)基礎(chǔ) 1
1.1  強(qiáng)化學(xué)習(xí)概述 2
1.1.1  強(qiáng)化學(xué)習(xí)的背景 2
1.1.2  強(qiáng)化學(xué)習(xí)的核心特點(diǎn) 3
1.1.3  強(qiáng)化學(xué)習(xí)與其他機(jī)器學(xué)習(xí)方法的區(qū)別 3
1.2  強(qiáng)化學(xué)習(xí)的應(yīng)用領(lǐng)域 4
1.2.1  機(jī)器人控制與路徑規(guī)劃 4
1.2.2  游戲與虛擬環(huán)境 5
1.2.3  金融與投資決策 6
1.2.4  自動(dòng)駕駛與智能交通 6
1.2.5  自然語(yǔ)言處理 7
1.3  強(qiáng)化學(xué)習(xí)中的常用概念 8
1.3.1  智能體、環(huán)境與交互 8
1.3.2  獎(jiǎng)勵(lì)與回報(bào)的概念 9
1.3.3  馬爾可夫性質(zhì)與馬爾可夫決策過(guò)程 9
1.3.4  策略與價(jià)值函數(shù) 10
第2章  馬爾可夫決策過(guò)程 11
2.1  馬爾可夫決策過(guò)程的定義 12
2.1.1  馬爾可夫決策過(guò)程的核心思想 12
2.1.2  馬爾可夫決策過(guò)程的形式化定義 12
2.2  馬爾可夫決策過(guò)程的組成要素 13
2.2.1  狀態(tài)空間與狀態(tài)的定義 13
2.2.2  行動(dòng)空間與行動(dòng)的定義 14
2.2.3  獎(jiǎng)勵(lì)函數(shù)的作用與定義 14
2.2.4  轉(zhuǎn)移概率函數(shù)的意義與定義 15
2.2.5  實(shí)例分析：構(gòu)建一個(gè)簡(jiǎn)單的MDP 16
2.3  值函數(shù)與策略 18
2.3.1  值函數(shù)與策略的定義 18
2.3.2  值函數(shù)與策略的用法舉例 18
2.4  貝爾曼方程 20
2.4.1  貝爾曼預(yù)測(cè)方程與策略評(píng)估 20
2.4.2  貝爾曼最優(yōu)性方程與值函數(shù)之間的關(guān)系 22
2.4.3  貝爾曼最優(yōu)性方程與策略改進(jìn) 25
2.4.4  動(dòng)態(tài)規(guī)劃與貝爾曼方程的關(guān)系 28
2.4.5  貝爾曼方程在強(qiáng)化學(xué)習(xí)中的應(yīng)用 29
第3章  蒙特卡洛方法 35
3.1  蒙特卡洛預(yù)測(cè) 36
3.1.1  蒙特卡洛預(yù)測(cè)的核心思想 36
3.1.2  蒙特卡洛預(yù)測(cè)的步驟與流程 36
3.1.3  蒙特卡洛預(yù)測(cè)的樣本更新與更新規(guī)則 37
3.2  蒙特卡洛控制 39
3.2.1  蒙特卡洛控制的目標(biāo)與意義 39
3.2.2  蒙特卡洛控制的策略評(píng)估與改進(jìn) 40
3.2.3  蒙特卡洛控制的更新規(guī)則與收斂性 43
3.3  探索與策略改進(jìn) 45
3.3.1  探索與利用的平衡再探討 46
3.3.2  貪婪策略與? -貪婪策略的比較 47
3.3.3  改進(jìn)探索策略的方法 50
3.3.4  探索策略對(duì)蒙特卡洛方法的影響 52
第4章  Q-learning與貝爾曼方程 55
4.1  Q-learning算法的原理 56
4.1.1  Q-learning的動(dòng)作值函數(shù) 56
4.1.2  Q-learning算法中的貪婪策略與探索策略 58
4.1.3  Q-learning算法的收斂性與收斂條件 60
4.2  貝爾曼方程在Q-learning算法中的應(yīng)用 62
4.2.1  Q-learning算法與貝爾曼最優(yōu)性方程的關(guān)系 63
4.2.2  貝爾曼方程的迭代計(jì)算與收斂 65
4.2.3  Q-learning算法中貝爾曼方程的實(shí)際應(yīng)用 67
4.3  強(qiáng)化學(xué)習(xí)中的Q-learning 69
4.3.1  ? -貪婪策略與探索的關(guān)系 70
4.3.2  Q-learning中探索策略的變化與優(yōu)化 73
4.3.3  探索策略對(duì)Q-learning性能的影響分析 78
4.3.4  使用Q-learning尋找某股票的買賣點(diǎn) 79
第5章  時(shí)序差分學(xué)習(xí)和SARSA算法 83
5.1  時(shí)序差分預(yù)測(cè) 84
5.1.1  時(shí)序差分預(yù)測(cè)的核心思想 84
5.1.2  時(shí)序差分預(yù)測(cè)的基本公式 84
5.1.3  時(shí)序差分預(yù)測(cè)與狀態(tài)值函數(shù) 85
5.1.4  時(shí)序差分預(yù)測(cè)的實(shí)例分析 86
5.2  SARSA算法 88
5.2.1  SARSA算法的核心原理和步驟 88
5.2.2  SARSA算法的更新規(guī)則 90
5.2.3  SARSA算法的收斂性與收斂條件 93
5.2.4  SARSA算法實(shí)例分析 95
5.3  Q-learning算法的時(shí)序差分更新 99
5.3.1  時(shí)序差分學(xué)習(xí)與Q-learning的結(jié)合 99
5.3.2  Q-learning的時(shí)序差分更新算法 101
第6章  DQN算法 105
6.1  引言與背景 106
6.2  DQN算法的基本原理 106
6.3  DQN的網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練過(guò)程 110
6.3.1  DQN的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 110
6.3.2  DQN算法的訓(xùn)練過(guò)程 112
6.3.3  經(jīng)驗(yàn)回放 114
6.3.4  目標(biāo)網(wǎng)絡(luò) 116
6.4  DQN算法的優(yōu)化與改進(jìn) 117
6.4.1  DDQN 117
6.4.2  競(jìng)爭(zhēng)DQN 118
6.4.3  優(yōu)先經(jīng)驗(yàn)回放 122
6.5  基于DQN算法的自動(dòng)駕駛程序 123
6.5.1  項(xiàng)目介紹 123
6.5.2  具體實(shí)現(xiàn) 124
第7章  DDQN算法 133
7.1  DDQN對(duì)標(biāo)準(zhǔn)DQN的改進(jìn) 134
7.2  雙重深度Q網(wǎng)絡(luò)的優(yōu)勢(shì) 134
7.3  《超級(jí)馬里奧》游戲的DDQN強(qiáng)化學(xué)習(xí)實(shí)戰(zhàn) 135
7.3.1  項(xiàng)目介紹 135
7.3.2  gym_super_mario_bros庫(kù)的介紹 136
7.3.3  環(huán)境預(yù)處理 136
7.3.4  創(chuàng)建DDQN模型 139
7.3.5  模型訓(xùn)練和測(cè)試 143
第8章  競(jìng)爭(zhēng)DQN算法 149
8.1  競(jìng)爭(zhēng)DQN 算法原理 150
8.1.1  競(jìng)爭(zhēng)DQN算法的動(dòng)機(jī)和核心思想 150
8.1.2  競(jìng)爭(zhēng)DQN 網(wǎng)絡(luò)架構(gòu) 150
8.2  競(jìng)爭(zhēng)DQN的優(yōu)勢(shì)與改進(jìn) 151
8.2.1  分離狀態(tài)價(jià)值和動(dòng)作優(yōu)勢(shì)的好處 151
8.2.2  優(yōu)化訓(xùn)練效率與穩(wěn)定性 152
8.2.3  解決過(guò)度估計(jì)問(wèn)題的潛力 152
8.3  股票交易策略系統(tǒng) 153
8.3.1  項(xiàng)目介紹 153
8.3.2  數(shù)據(jù)準(zhǔn)備 154
8.3.3  數(shù)據(jù)拆分與時(shí)間序列 154
8.3.4  Environment(環(huán)境) 156
8.3.5  DQN算法實(shí)現(xiàn) 157
8.3.6  DDQN算法的實(shí)現(xiàn) 163
8.3.7  競(jìng)爭(zhēng)DQN算法的實(shí)現(xiàn) 167
第9章  REINFORCE算法 173
9.1  策略梯度介紹 174
9.1.1  策略梯度的重要概念和特點(diǎn) 174
9.1.2  策略梯度定理的數(shù)學(xué)推導(dǎo) 175
9.2  REINFORCE算法基礎(chǔ) 175
9.2.1  REINFORCE算法的基本原理 176
9.2.2  REINFORCE算法的更新規(guī)則 179
9.2.3  基線函數(shù)與REINFORCE算法的優(yōu)化 180
第10章  Actor-Critic算法 187
10.1  Actor-Critic算法的介紹與原理 188
10.1.1  強(qiáng)化學(xué)習(xí)中的策略梯度方法 188
10.1.2  Actor-Critic算法框架概述 189
10.1.3  Actor-Critic算法實(shí)戰(zhàn)：手推購(gòu)物車游戲 189
10.2  A2C算法 197
10.2.1  A2C算法的基本思想 198
10.2.2  優(yōu)勢(shì)函數(shù)的引入 198
10.2.3  A2C算法的訓(xùn)練流程 199
10.2.4  A2C算法實(shí)戰(zhàn) 200
10.3  SAC算法 202
10.3.1  SAC算法的核心思想 202
10.3.2  熵的作用及其在SAC算法中的應(yīng)用 203
10.3.3  SAC算法實(shí)戰(zhàn) 204
10.4  A3C算法 206
10.4.1  A3C算法的核心思想 206
10.4.2  A3C算法的訓(xùn)練過(guò)程 207
10.4.3  A3C算法實(shí)戰(zhàn) 207
第11章  PPO算法 211
11.1  PPO算法的背景與概述 212
11.1.1  強(qiáng)化學(xué)習(xí)中的策略優(yōu)化方法 212
11.1.2  PPO算法的優(yōu)點(diǎn)與應(yīng)用領(lǐng)域 213
11.2  PPO算法的核心原理 213
11.2.1  PPO算法的基本思想 213
11.2.2  目標(biāo)函數(shù)與優(yōu)化策略的關(guān)系 214
11.2.3  PPO算法中的策略梯度計(jì)算 215
11.3  PPO算法的實(shí)現(xiàn)與調(diào)參 215
11.3.1  策略網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì) 215
11.3.2  超參數(shù)的選擇與調(diào)整 218
11.4  PPO算法的變種與改進(jìn) 221
11.4.1  PPO-Clip算法 221
11.4.2  PPO-Penalty算法 224
11.4.3  PPO2算法 230
第12章  TRPO算法 233
12.1  TRPO算法的意義 234
12.2  TRPO算法的核心原理 234
12.2.1  TRPO算法的步驟 234
12.2.2  信任區(qū)域的概念與引入 237
12.2.3  目標(biāo)函數(shù)與約束條件的構(gòu)建 237
12.2.4  TRPO算法中的策略梯度計(jì)算 238
12.3  TRPO算法的變種與改進(jìn) 241
12.3.1  TRPO-Clip算法 241
12.3.2  TRPO-Penalty算法 243
12.4  TRPO算法優(yōu)化實(shí)戰(zhàn)：基于矩陣低秩分解的TRPO 245
12.4.1  優(yōu)化策略：NN-TRPO和TRLRPO 246
12.4.2  經(jīng)驗(yàn)數(shù)據(jù)管理和狀態(tài)空間離散化 246
12.4.3  定義環(huán)境 247
12.4.4  創(chuàng)建強(qiáng)化學(xué)習(xí)模型 247
12.4.5  創(chuàng)建Agent 248
12.4.6  評(píng)估TRPO算法在Acrobot 環(huán)境中的性能 249
12.4.7  評(píng)估TRPO算法在MountainCarContinuous-v0環(huán)境中的性能 250
12.4.8  評(píng)估TRPO算法在CustomPendulumEnv環(huán)境中的性能 251
12.4.9  性能可視化 251
第13章  連續(xù)動(dòng)作空間的強(qiáng)化學(xué)習(xí) 253
13.1  連續(xù)動(dòng)作空間強(qiáng)化學(xué)習(xí)基礎(chǔ) 254
13.1.1  連續(xù)動(dòng)作空間介紹 254
13.1.2  動(dòng)作幅度問(wèn)題與采樣效率問(wèn)題 255
13.1.3  連續(xù)動(dòng)作空間中的探索問(wèn)題 255
13.2  DDPG算法 256
13.2.1  DDPG算法的特點(diǎn) 256
13.2.2  DDPG算法在連續(xù)動(dòng)作空間中的優(yōu)勢(shì) 257
13.2.3  DDPG算法的實(shí)現(xiàn)步驟與網(wǎng)絡(luò)結(jié)構(gòu) 257
13.2.4  DDPG算法中的經(jīng)驗(yàn)回放與探索策略 262
13.3  DDPG算法綜合實(shí)戰(zhàn)：基于強(qiáng)化學(xué)習(xí)的股票交易策略 266
13.3.1  項(xiàng)目介紹 266
13.3.2  準(zhǔn)備開發(fā)環(huán)境 266
13.3.3  下載數(shù)據(jù) 268
13.3.4  數(shù)據(jù)預(yù)處理 270
13.3.5  構(gòu)建環(huán)境 271
13.3.6  實(shí)現(xiàn)深度強(qiáng)化學(xué)習(xí)算法 273
13.3.7  性能回測(cè) 276
第14章  值分布式算法 281
14.1  值分布式算法基礎(chǔ) 282
14.1.1  值分布式算法的背景與優(yōu)勢(shì) 282
14.1.2  值分布式算法的基本概念 282
14.1.3  強(qiáng)化學(xué)習(xí)中的值函數(shù)表示問(wèn)題 283
14.1.4  常用的值分布式算法 284
14.2  C51算法 284
14.2.1  C51算法的基本原理 284
14.2.2  C51算法的網(wǎng)絡(luò)架構(gòu) 285
14.2.3  C51算法的訓(xùn)練流程 285
14.2.4  C51算法的試驗(yàn)與性能評(píng)估 286
14.2.5  使用 TF-Agents訓(xùn)練C51代理 287
14.3  QR-DQN算法 291
14.3.1  QR-DQN算法的核心思想 292
14.3.2  QR-DQN算法的實(shí)現(xiàn)步驟 292
14.3.3  QR-DQN算法實(shí)戰(zhàn) 293
14.4  FPQF算法 295
14.4.1  FPQF算法的核心思想 295
14.4.2  FPQF算法的實(shí)現(xiàn)步驟 295
14.4.3  FPQF算法實(shí)戰(zhàn) 296
14.5  IQN算法 298
14.5.1  IQN 算法的原理與背景 298
14.5.2  IQN算法實(shí)戰(zhàn) 299
第15章  基于模型的強(qiáng)化學(xué)習(xí) 301
15.1  基于模型的強(qiáng)化學(xué)習(xí)基礎(chǔ) 302
15.1.1  基于模型的強(qiáng)化學(xué)習(xí)簡(jiǎn)介 302
15.1.2  模型的種類與構(gòu)建方法 302
15.1.3  基于模型的強(qiáng)化學(xué)習(xí)算法 303
15.2  模型預(yù)測(cè)控制 304
15.2.1  模型預(yù)測(cè)控制介紹 304
15.2.2  模型預(yù)測(cè)控制實(shí)戰(zhàn) 305
15.3  蒙特卡洛樹搜索算法 307
15.3.1  MCTS算法介紹 307
15.3.2  MCTS算法實(shí)戰(zhàn) 308
15.4  MBPO算法 309
15.4.1  MBPO算法介紹 310
15.4.2  MBPO算法實(shí)戰(zhàn) 310
15.5  PlaNet算法 313
15.5.1  PlaNet算法介紹 313
15.5.2  PlaNet算法實(shí)戰(zhàn) 314
第16章  多智能體強(qiáng)化學(xué)習(xí)實(shí)戰(zhàn)：Predator-Prey游戲 319
16.1  Predator-Prey游戲介紹 320
16.2  背景介紹 320
16.3  功能模塊介紹 321
16.4  環(huán)境準(zhǔn)備 321
16.4.1  安裝OpenAI gymnasium 322
16.4.2  導(dǎo)入庫(kù) 322
16.5  捕食者-獵物(Predator-Prey)的環(huán)境 322
16.5.1  定義自定義強(qiáng)化學(xué)習(xí)環(huán)境類 323
16.5.2  定義自定義強(qiáng)化學(xué)習(xí)環(huán)境類 324
16.5.3  環(huán)境重置 325
16.5.4  計(jì)算捕食者和獵物的獎(jiǎng)勵(lì) 325
16.5.5  判斷回合是否結(jié)束 326
16.5.6  檢查動(dòng)作的合法性 326
16.5.7  記錄和獲取狀態(tài)歷史 326
16.5.8  實(shí)現(xiàn)step方法 327
16.5.9  生成視圖幀 328
16.5.10  渲染環(huán)境的視圖 328
16.6  第二個(gè)環(huán)境 329
16.7  隨機(jī)智能體 333
16.7.1  應(yīng)用場(chǎng)景 334
16.7.2  實(shí)現(xiàn)隨機(jī)智能體 334
16.8  DDPG算法的實(shí)現(xiàn) 335
16.8.1  信息存儲(chǔ) 335
16.8.2  實(shí)現(xiàn)Actor模型 336
16.8.3  實(shí)現(xiàn)Critic模型 337
16.8.4  實(shí)現(xiàn)DDPG智能體 338
16.9  訓(xùn)練模型 341
16.9.1  環(huán)境初始化 342
16.9.2  創(chuàng)建智能體 342
16.9.3  訓(xùn)練循環(huán) 343
16.9.4  保存模型 345
16.9.5  訓(xùn)練結(jié)果可視化 345
第17章  自動(dòng)駕駛系統(tǒng) 347
17.1  自動(dòng)駕駛背景介紹 348
17.2  項(xiàng)目介紹 348
17.2.1  功能介紹 348
17.2.2  模塊結(jié)構(gòu) 349
17.3  環(huán)境準(zhǔn)備 349
17.4  配置文件 350
17.5  準(zhǔn)備數(shù)據(jù)文件 353
17.5.1  Carla數(shù)據(jù)處理與轉(zhuǎn)換 353
17.5.2  加載、處理數(shù)據(jù) 356
17.5.3  收集、處理數(shù)據(jù) 357
17.5.4  創(chuàng)建數(shù)據(jù)集 362
17.6  深度學(xué)習(xí)模型 363
17.6.1  編碼器 363
17.6.2  變分自編碼器 368
17.6.3  定義強(qiáng)化學(xué)習(xí)模型 368
17.7  強(qiáng)化學(xué)習(xí) 371
17.7.1  強(qiáng)化學(xué)習(xí)工具類的實(shí)現(xiàn) 371
17.7.2  經(jīng)驗(yàn)回放存儲(chǔ)的實(shí)現(xiàn) 372
17.7.3  深度強(qiáng)化學(xué)習(xí)智能體的實(shí)現(xiàn) 373
17.7.4  使用SAC算法的強(qiáng)化學(xué)習(xí)代理的實(shí)現(xiàn) 375
17.7.5  實(shí)現(xiàn)DDPG用于強(qiáng)化學(xué)習(xí) 381
17.8  調(diào)用處理 384
17.8.1  生成訓(xùn)練數(shù)據(jù) 384
17.8.2  訓(xùn)練模型 385
17.8.3  收集Carla環(huán)境中的專家駕駛數(shù)據(jù) 387
17.8.4  訓(xùn)練自動(dòng)駕駛的強(qiáng)化學(xué)習(xí)代理 390
17.8.5  訓(xùn)練DDPG智能體執(zhí)行自動(dòng)駕駛?cè)蝿?wù) 392
17.8.6  評(píng)估自動(dòng)駕駛模型的性能 393
17.9  調(diào)試運(yùn)行 393