機(jī)器學(xué)習(xí)實(shí)戰(zhàn)：基于Scikit-Learn和TensorFlow

前言1 

第一部分 機(jī)器學(xué)習(xí)基礎(chǔ) 

第1章 機(jī)器學(xué)習(xí)概覽11 

什么是機(jī)器學(xué)習(xí)12 

為什么要使用機(jī)器學(xué)習(xí)12 

機(jī)器學(xué)習(xí)系統(tǒng)的種類15 

監(jiān)督式/無監(jiān)督式學(xué)習(xí)16 

批量學(xué)習(xí)和在線學(xué)習(xí)21 

基于實(shí)例與基于模型的學(xué)習(xí)24 

機(jī)器學(xué)習(xí)的主要挑戰(zhàn)29 

訓(xùn)練數(shù)據(jù)的數(shù)量不足29 

訓(xùn)練數(shù)據(jù)不具代表性30 

質(zhì)量差的數(shù)據(jù)32 

無關(guān)特征32 

訓(xùn)練數(shù)據(jù)過度擬合33 

訓(xùn)練數(shù)據(jù)擬合不足34 

退后一步35 

測試與驗(yàn)證35 

練習(xí)37 

第2章 端到端的機(jī)器學(xué)習(xí)項(xiàng)目39 

使用真實(shí)數(shù)據(jù)39 

觀察大局40 

框架問題41 

選擇性能指標(biāo)42 

檢查假設(shè)45 

獲取數(shù)據(jù)45 

創(chuàng)建工作區(qū)45 

下載數(shù)據(jù)48 

快速查看數(shù)據(jù)結(jié)構(gòu)49 

創(chuàng)建測試集52 

從數(shù)據(jù)探索和可視化中獲得洞見56 

將地理數(shù)據(jù)可視化57 

尋找相關(guān)性59 

試驗(yàn)不同屬性的組合61 

機(jī)器學(xué)習(xí)算法的數(shù)據(jù)準(zhǔn)備62 

數(shù)據(jù)清理63 

處理文本和分類屬性65 

自定義轉(zhuǎn)換器67 

特征縮放68 

轉(zhuǎn)換流水線68 

選擇和訓(xùn)練模型70 

培訓(xùn)和評估訓(xùn)練集70 

使用交叉驗(yàn)證來更好地進(jìn)行評估72 

微調(diào)模型74 

網(wǎng)格搜索74 

隨機(jī)搜索76 

集成方法76 

分析最佳模型及其錯誤76 

通過測試集評估系統(tǒng)77 

啟動、監(jiān)控和維護(hù)系統(tǒng)78 

試試看79 

練習(xí)79 

第3章 分類80 

MNIST80 

訓(xùn)練一個二元分類器82 

性能考核83 

使用交叉驗(yàn)證測量精度83 

混淆矩陣84 

精度和召回率86 

精度/召回率權(quán)衡87 

ROC曲線90 

多類別分類器93 

錯誤分析95 

多標(biāo)簽分類98 

多輸出分類99 

練習(xí)100 

第4章 訓(xùn)練模型102 

線性回歸103 

標(biāo)準(zhǔn)方程104 

計(jì)算復(fù)雜度106 

梯度下降107 

批量梯度下降110 

隨機(jī)梯度下降112 

小批量梯度下降114 

多項(xiàng)式回歸115 

學(xué)習(xí)曲線117 

正則線性模型121 

嶺回歸121 

套索回歸123 

彈性網(wǎng)絡(luò)125 

早期停止法126 

邏輯回歸127 

概率估算127 

訓(xùn)練和成本函數(shù)128 

決策邊界129 

Softmax回歸131 

練習(xí)134 

第5章 支持向量機(jī)136 

線性SVM分類136 

軟間隔分類137 

非線性SVM分類139 

多項(xiàng)式核140 

添加相似特征141 

高斯RBF核函數(shù)142 

計(jì)算復(fù)雜度143 

SVM回歸144 

工作原理145 

決策函數(shù)和預(yù)測146 

訓(xùn)練目標(biāo)146 

二次規(guī)劃148 

對偶問題149 

核化SVM149 

在線SVM151 

練習(xí)152 

第6章 決策樹154 

決策樹訓(xùn)練和可視化154 

做出預(yù)測155 

估算類別概率157 

CART訓(xùn)練算法158 

計(jì)算復(fù)雜度158 

基尼不純度還是信息熵159 

正則化超參數(shù)159 

回歸161 

不穩(wěn)定性162 

練習(xí)163 

第7章 集成學(xué)習(xí)和隨機(jī)森林165 

投票分類器165 

bagging和pasting168 

Scikit-Learn的bagging和pasting169 

包外評估170 

Random Patches和隨機(jī)子空間171 

隨機(jī)森林172 

極端隨機(jī)樹173 

特征重要性173 

提升法174 

AdaBoost175 

梯度提升177 

堆疊法181 

練習(xí)184 

第8章 降維185 

維度的詛咒186 

數(shù)據(jù)降維的主要方法187 

投影187 

流形學(xué)習(xí)189 

PCA190 

保留差異性190 

主成分191 

低維度投影192 

使用Scikit-Learn192 

方差解釋率193 

選擇正確數(shù)量的維度193 

PCA壓縮194 

增量PCA195 

隨機(jī)PCA195 

核主成分分析196 

選擇核函數(shù)和調(diào)整超參數(shù)197 

局部線性嵌入199 

其他降維技巧200 

練習(xí)201 

第二部分 神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí) 

第9章 運(yùn)行TensorFlow205 

安裝207 

創(chuàng)建一個計(jì)算圖并在會話中執(zhí)行208 

管理圖209 

節(jié)點(diǎn)值的生命周期210 

TensorFlow中的線性回歸211 

實(shí)現(xiàn)梯度下降211 

手工計(jì)算梯度212 

使用自動微分212 

使用優(yōu)化器214 

給訓(xùn)練算法提供數(shù)據(jù)214 

保存和恢復(fù)模型215 

用TensorBoard來可視化圖和訓(xùn)練曲線216 

命名作用域219 

模塊化220 

共享變量222 

練習(xí)225 

第10章 人工神經(jīng)網(wǎng)絡(luò)簡介227 

從生物神經(jīng)元到人工神經(jīng)元227 

生物神經(jīng)元228 

具有神經(jīng)元的邏輯計(jì)算229 

感知器230 

多層感知器和反向傳播233 

用TensorFlow的高級API來訓(xùn)練MLP236 

使用純TensorFlow訓(xùn)練DNN237 

構(gòu)建階段237 

執(zhí)行階段240 

使用神經(jīng)網(wǎng)絡(luò)241 

微調(diào)神經(jīng)網(wǎng)絡(luò)的超參數(shù)242 

隱藏層的個數(shù)242 

每個隱藏層中的神經(jīng)元數(shù)243 

激活函數(shù)243 

練習(xí)244 

第11章 訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)245 

梯度消失/爆炸問題245 

Xavier初始化和He初始化246 

非飽和激活函數(shù)248 

批量歸一化250 

梯度剪裁254 

重用預(yù)訓(xùn)練圖層255 

重用TensorFlow模型255 

重用其他框架的模型256 

凍結(jié)低層257 

緩存凍結(jié)層257 

調(diào)整、丟棄或替換高層258 

模型動物園258 

無監(jiān)督的預(yù)訓(xùn)練259 

輔助任務(wù)中的預(yù)訓(xùn)練260 

快速優(yōu)化器261 

Momentum優(yōu)化261 

Nesterov梯度加速262 

AdaGrad263 

RMSProp265 

Adam優(yōu)化265 

學(xué)習(xí)速率調(diào)度267 

通過正則化避免過度擬合269 

提前停止269 

1和2正則化269 

dropout270 

最大范數(shù)正則化273 

數(shù)據(jù)擴(kuò)充274 

實(shí)用指南275 

練習(xí)276 

第12章 跨設(shè)備和服務(wù)器的分布式TensorFlow279 

一臺機(jī)器上的多個運(yùn)算資源280 

安裝280 

管理GPU RAM282 

在設(shè)備上操作284 

并行執(zhí)行287 

控制依賴288 

多設(shè)備跨多服務(wù)器288 

開啟一個會話290 

master和worker服務(wù)290 

分配跨任務(wù)操作291 

跨多參數(shù)服務(wù)器分片變量291 

用資源容器跨會話共享狀態(tài)292 

使用TensorFlow隊(duì)列進(jìn)行異步通信294 

直接從圖中加載數(shù)據(jù)299 

在TensorFlow集群上并行化神經(jīng)網(wǎng)絡(luò)305 

一臺設(shè)備一個神經(jīng)網(wǎng)絡(luò)305 

圖內(nèi)與圖間復(fù)制306 

模型并行化308 

數(shù)據(jù)并行化309 

練習(xí)314 

第13章 卷積神經(jīng)網(wǎng)絡(luò)31