機(jī)器學(xué)習(xí)基礎(chǔ)與實(shí)戰(zhàn)

第 1 章　機(jī)器學(xué)習(xí)算法概述 ………………………………………………………………… 1
1.1　機(jī)器學(xué)習(xí) …………………………………………………………………………… 1
1.2　機(jī)器學(xué)習(xí)分類(lèi) ……………………………………………………………………… 2
1.2.1 監(jiān)督學(xué)習(xí) …………………………………………………………………… 2
1.2.2 無(wú)監(jiān)督學(xué)習(xí) ………………………………………………………………… 2
1.2.3 強(qiáng)化學(xué)習(xí) …………………………………………………………………… 3
1.3　機(jī)器學(xué)習(xí)中的基本概念 …………………………………………………………… 3
1.4　機(jī)器學(xué)習(xí)環(huán)境搭建 ………………………………………………………………… 4
1.4.1 Python 安裝 ………………………………………………………………… 4
1.4.2 PyCharm 及相關(guān)包的下載安裝 …………………………………………… 6
1.4.3 JupyterLab …………………………………………………………………… 9
1.5 本章小結(jié) ……………………………………………………………………………12
思考與練習(xí)…………………………………………………………………………………12
第 2 章? NumPy 和 Matplotlib 入門(mén) ……………………………………………………… 13
2.1 NumPy 數(shù)組基礎(chǔ) ……………………………………………………………………13
2.1.1 創(chuàng)建 NumPy 數(shù)組……………………………………………………………14
2.1.2 NumPy 數(shù)組的索引與切片 …………………………………………………16
2.1.3 NumPy 數(shù)組的變形 …………………………………………………………18
2.1.4 NumPy 合并與分割 …………………………………………………………20
2.1.5 NumPy 的通用函數(shù) …………………………………………………………25
2.1.6 NumPy 數(shù)組的聚合運(yùn)算 ……………………………………………………27
2.1.7 NumPy 數(shù)組的廣播 …………………………………………………………28
2.1.8 NumPy 數(shù)組比較、掩碼和布爾邏輯 ………………………………………30
2.1.9 NumPy 花哨的索引 …………………………………………………………30
2.1.10 NumPy 的矩陣運(yùn)算 ………………………………………………………32
2.2 Matplotlib 數(shù)據(jù)可視化 ………………………………………………………………36
2.2.1 線(xiàn)形圖 ………………………………………………………………………36
2.2.2 散點(diǎn)圖 ………………………………………………………………………39
2.2.3 直方圖和柱狀圖 ……………………………………………………………41
2.2.4 等高線(xiàn)圖 ……………………………………………………………………43
2.2.5 多子圖 ………………………………………………………………………46
2.2.6 三維圖像 ……………………………………………………………………50
2.3 本章小結(jié) ……………………………………………………………………………53
思考與練習(xí)…………………………………………………………………………………53
第 3 章? 線(xiàn)性回歸算法 …………………………………………………………………… 54
3.1 簡(jiǎn)單線(xiàn)性回歸 ………………………………………………………………………54
3.2 正規(guī)方程算法（小二乘法）………………………………………………………55
3.3 多項(xiàng)式回歸 …………………………………………………………………………61
3.4 線(xiàn)性回歸的正則化算法 ……………………………………………………………64
3.5 Sklearn 的線(xiàn)性回歸 …………………………………………………………………66
3.6 本章小結(jié) ……………………………………………………………………………69
思考與練習(xí)…………………………………………………………………………………69
第 4 章? 機(jī)器學(xué)習(xí)中的搜索算法 ………………………………………………………… 70
4.1 梯度下降算法 ………………………………………………………………………70
4.1.1 梯度下降算法概述 …………………………………………………………70
4.1.2 模擬實(shí)現(xiàn)梯度下降算法 ……………………………………………………71
4.1.3 線(xiàn)性回歸中的梯度下降算法 ………………………………………………73
4.2 隨機(jī)梯度下降算法 …………………………………………………………………75
4.2.1 回歸問(wèn)題中的隨機(jī)梯度下降算法 …………………………………………76
4.2.2 梯度下降算法與隨機(jī)梯度下降算法的效果對(duì)比 …………………………78
4.3 小批量梯度下降算法 ………………………………………………………………81
4.4 牛頓迭代算法 ………………………………………………………………………85
4.4.1 模擬實(shí)現(xiàn)牛頓迭代算法 ……………………………………………………85
4.4.2 線(xiàn)性回歸問(wèn)題中的牛頓迭代算法 …………………………………………87
4.5 坐標(biāo)下降算法 ………………………………………………………………………88
4.6 Sklearn 的隨機(jī)梯度下降算法 ………………………………………………………90
4.7 本章小結(jié) ……………………………………………………………………………96
思考與練習(xí)…………………………………………………………………………………96
第 5 章? Logistic 回歸算法 ………………………………………………………………… 97
5.1 Logistic 回歸的基本概念 ……………………………………………………………97
5.1.1 Sigmoid() 函數(shù) ………………………………………………………………97
5.1.2 Logistic 模型 …………………………………………………………………98
5.2 Logistic 回歸算法的應(yīng)用 ……………………………………………………………99
5.3 評(píng)價(jià)分類(lèi)結(jié)果 …………………………………………………………………… 103
5.3.1 準(zhǔn)確率（Accuracy）……………………………………………………… 103
5.3.2 精確率 (Precision) 和召回率 (Recall) …………………………………… 104
5.3.3 ROC 曲線(xiàn)和 AUC 度量 ………………………………………………… 115
5.4 多元回歸算法 SoftMax…………………………………………………………… 118
5.4.1 SoftMax 回歸基本概念 ………………………………………………… 119
5.4.2 SoftMax 回歸優(yōu)化算法 ………………………………………………… 120
5.5 Sklearn 的 Logistic 回歸算法 …………………………………………………… 126
5.6 本章小結(jié) ………………………………………………………………………… 130
思考與練習(xí)……………………………………………………………………………… 130
第 6 章? 支持向量機(jī)算法 ………………………………………………………………… 132
6.1 支持向量機(jī)的基本概念 ………………………………………………………… 132
6.1.1 感知機(jī) …………………………………………………………………… 132
6.1.2 支持向量機(jī) ……………………………………………………………… 137
6.1.3 支持向量機(jī)的對(duì)偶 ……………………………………………………… 138
6.2 支持向量機(jī)優(yōu)化算法 …………………………………………………………… 139
6.3 核方法 …………………………………………………………………………… 144
6.4 軟間隔支持向量機(jī) ……………………………………………………………… 153
6.4.1 軟間隔支持向量機(jī)的概念 ……………………………………………… 153
6.4.2 Hinge 損失函數(shù)與軟間隔支持向量機(jī)…………………………………… 156
6.5 Sklearn 的 SVM 庫(kù) ……………………………………………………………… 159
6.5.1 Sklearn SVM 算法庫(kù)使用概述…………………………………………… 159
6.5.2 SVM 核函數(shù)概述 ………………………………………………………… 159
6.5.3 SVM 分類(lèi)算法的使用 …………………………………………………… 160
6.5.4 SVM 算法的調(diào)參要點(diǎn) …………………………………………………… 162
6.6 本章小結(jié) ………………………………………………………………………… 174
思考與練習(xí)……………………………………………………………………………… 174
第 7 章? 樸素貝葉斯算法 ………………………………………………………………… 175
7.1 樸素貝葉斯 ……………………………………………………………………… 175
7.1.1 數(shù)學(xué)基礎(chǔ) ………………………………………………………………… 175
7.1.2 樸素貝葉斯的種類(lèi) ……………………………………………………… 176
7.2 樸素貝葉斯算法分類(lèi) …………………………………………………………… 177
7.2.1 基于極大似然估計(jì)的樸素貝葉斯算法 ………………………………… 178
7.2.2 基于貝葉斯估計(jì)的樸素貝葉斯算法 …………………………………… 180
7.3 Sklearn 的樸素貝葉斯算法 ……………………………………………………… 183
7.3.1 Sklearn 的高斯樸素貝葉斯實(shí)現(xiàn) ………………………………………… 183
7.3.2 Sklearn 的多項(xiàng)式樸素貝葉斯實(shí)現(xiàn) ……………………………………… 184
7.3.3 Sklearn 的伯努利樸素貝葉斯實(shí)現(xiàn) ……………………………………… 186
7.4 本章小結(jié) ………………………………………………………………………… 188
思考與練習(xí)……………………………………………………………………………… 188
第 8 章? 決策樹(shù)算法 ……………………………………………………………………… 189
8