PyTorch速查手冊

目錄
前言 . 1
第1 章 PyTorch 簡介 9
1.1 PyTorch 是什么? .9
1.2 為什么使用PyTorch? .10
1.3 新手指南 12
1.3.1 在Google Colaboratory 中運行 13
1.3.2 在本地計算機上運行 .16
1.3.3 在云平臺上運行 17
1.3.4 驗證你的PyTorch 環(huán)境 20
1.4 一個有趣的例子 20
第2 章 張量 29
2.1 張量是什么？ .30
2.1.1 簡單CPU 示例 .30
2.1.2 簡單GPU 示例 .31
2.1.3 在CPU 和GPU 之間移動張量 .32
2.2 創(chuàng)建張量 33
2.2.1 張量屬性37
2.2.2 數(shù)據(jù)類型38
2.2.3 由隨機樣本創(chuàng)建張量 .40
2.2.4 創(chuàng)建類似其他張量的張量 42
2.3 張量操作 42
2.3.1 張量索引、切片、合并和拆分 .43
2.3.2 張量數(shù)學(xué)運算 47
2.3.3 自動微分（Autograd） .54
第3 章 使用PyTorch 的深度學(xué)習(xí)開發(fā) . 57
3.1 完整過程 58
3.2 數(shù)據(jù)準備 60
3.2.1 數(shù)據(jù)加載60
3.2.2 數(shù)據(jù)變換65
3.2.3 數(shù)據(jù)批處理 .69
3.2.4 一般數(shù)據(jù)準備（torch.utils.data） 70
3.3 模型開發(fā) 74
3.3.1 模型設(shè)計75
3.3.2 訓(xùn)練 90
3.3.3 驗證 98
3.3.4 測試 .102
3.4 模型部署 .103
3.4.1 保存模型104
3.4.2 部署到PyTorch Hub 105
3.4.3 部署到生產(chǎn)環(huán)境 106
第4 章 神經(jīng)網(wǎng)絡(luò)開發(fā)參考設(shè)計 107
4.1 使用遷移學(xué)習(xí)完成圖像分類 .108
4.1.1 數(shù)據(jù)處理108
4.1.2 模型設(shè)計 111
4.1.3 訓(xùn)練和驗證 113
4.1.4 測試和部署 115
4.2 用Torchtext 完成情感分析 117
4.2.1 數(shù)據(jù)處理 117
4.2.2 模型設(shè)計123
4.2.3 訓(xùn)練和驗證 125
4.2.4 測試和部署 127
4.3 生成式學(xué)習(xí)—用DCGAN 生成Fashion-MNIST 圖像 129
4.3.1 數(shù)據(jù)處理130
4.3.2 模型設(shè)計132
4.3.3 訓(xùn)練 .135
4.3.4 測試和部署 140
第5 章 定制PyTorch 143
5.1 定制層和激活函數(shù) .144
5.1.1 定制層示例（Complex Linear） 146
5.1.2 定制激活示例（Complex ReLU） 150
5.2 定制模型架構(gòu) 151
5.3 定制損失函數(shù) 154
5.4 定制優(yōu)化器算法 .156
5.5 定制訓(xùn)練、驗證和測試循環(huán) .160
第6 章 PyTorch 加速和優(yōu)化 . 165
6.1 TPU 上使用PyTorch 166
6.2 （單機）多個GPU 上使用PyTorch .170
6.2.1 數(shù)據(jù)并行處理 .170
6.2.2 模型并行處理 .175
6.2.3 結(jié)合數(shù)據(jù)并行處理和模型并行處理.177
6.3 （多機）分布式訓(xùn)練 180
6.4 模型優(yōu)化 .182
6.4.1 超參數(shù)調(diào)優(yōu) 182
6.4.2 量化 .190
6.4.3 剪枝 .194
第7 章 PyTorch 部署到生產(chǎn)環(huán)境 201
7.1 PyTorch 部署工具和庫 202
7.1.1 通用示例模型 .203
7.1.2 Python API 204
7.1.3 TorchScript 205
7.1.4 TorchServe 209
7.1.5 ONNX .218
7.1.6 Mobile 庫 219
7.2 部署到Flask 應(yīng)用 221
7.3 Colab Flask 應(yīng)用 .224
7.4 用TorchServe 部署到云227
7.5 Docker 快速入門.227
7.6 部署到移動和邊緣設(shè)備 229
7.6.1 iOS229
7.6.2 Android 232
7.6.3 其他邊緣設(shè)備 .236
第8 章 PyTorch 生態(tài)系統(tǒng)和其他資源 239
8.1 PyTorch 生態(tài)系統(tǒng) 240
8.2 面向圖像和視頻的Torchvision 248
8.2.1 數(shù)據(jù)集和I/O249
8.2.2 模型 .251
8.2.3 變換、操作和實用工具 .253
8.3 用于NLP 的Torchtext 261
8.3.1 創(chuàng)建一個數(shù)據(jù)集對象 261
8.3.2 預(yù)處理數(shù)據(jù) 262
8.3.3 創(chuàng)建一個Dataloader 批處理 263
8.3.4 數(shù)據(jù)（torchtext.data） 264
8.3.5 數(shù)據(jù)集（torchtext.datasets） 265
8.3.6 詞匯表（torchtext.vocab） 268
8.4 用于可視化的TensorBoard 269
8.4.1 SCALARS 顯示學(xué)習(xí)曲線 .272
8.4.2 GRAPHS 顯示模型架構(gòu) 273
8.4.3 IMAGES、TEXT 和PROJECTOR 顯示數(shù)據(jù) .274
8.4.4 DISTRIBUTIONS 和HISTOGRAMS 顯示權(quán)重分布 .275
8.4.5 HPARAMS 顯示超參數(shù) .276
8.4.6 TensorBoard API 277
8.5 Papers with Code 280
8.6 其他PyTorch 資源 .280
8.6.1 教程 .281
8.6.2 圖書 .283
8.6.3 在線課程和現(xiàn)場培訓(xùn) 284