機(jī)器閱讀理解：算法與實(shí)踐

序一

序二

前言

第一篇　基礎(chǔ)篇

第1章　機(jī)器閱讀理解與關(guān)鍵支撐技術(shù) 2

1.1　機(jī)器閱讀理解任務(wù) 2

1.1.1　機(jī)器閱讀理解模型 3

1.1.2　機(jī)器閱讀理解的應(yīng)用 4

1.2　自然語(yǔ)言處理 5

1.2.1　研究現(xiàn)狀 5

1.2.2　仍需解決的問(wèn)題 6

1.3　深度學(xué)習(xí) 7

1.3.1　深度學(xué)習(xí)的特點(diǎn) 7

1.3.2　深度學(xué)習(xí)的成果 10

1.4　機(jī)器閱讀理解任務(wù)的測(cè)評(píng)方式 11

1.4.1　機(jī)器閱讀理解的答案形式 11

1.4.2　自由回答式答案評(píng)分標(biāo)準(zhǔn)ROUGE 12

1.5　機(jī)器閱讀理解數(shù)據(jù)集 14

1.5.1　單段落式數(shù)據(jù)集 14

1.5.2　多段落式數(shù)據(jù)集 19

1.5.3　文本庫(kù)式數(shù)據(jù)集 22

1.6　機(jī)器閱讀理解數(shù)據(jù)的生成 23

1.6.1　數(shù)據(jù)集的生成 23

1.6.2　標(biāo)準(zhǔn)答案的生成 24

1.6.3　如何設(shè)計(jì)高質(zhì)量的數(shù)據(jù)集 26

1.7　本章小結(jié) 30

第2章　自然語(yǔ)言處理基礎(chǔ) 31

2.1　文本分詞 31

2.1.1　中文分詞 32

2.1.2　英文分詞 33

2.1.3　字節(jié)對(duì)編碼BPE 35

2.2　語(yǔ)言處理的基石：詞向量 37

2.2.1　詞的向量化 37

2.2.2　Word2vec詞向量 39

2.3　命名實(shí)體和詞性標(biāo)注 42

2.3.1　命名實(shí)體識(shí)別 42

2.3.2　詞性標(biāo)注 44

2.4　語(yǔ)言模型 48

2.4.1　N元模型 49

2.4.2　語(yǔ)言模型的評(píng)測(cè) 52

2.5　本章小結(jié) 53

第3章　自然語(yǔ)言處理中的深度學(xué)習(xí) 54

3.1　從詞向量到文本向量 54

3.1.1　利用RNN的最終狀態(tài) 55

3.1.2　利用CNN和池化 55

3.1.3　利用含參加權(quán)和 58

3.2　讓計(jì)算機(jī)做選擇題：自然語(yǔ)言理解 59

3.2.1　網(wǎng)絡(luò)模型 59

3.2.2　實(shí)戰(zhàn)：文本分類(lèi) 60

3.3　讓計(jì)算機(jī)寫(xiě)文章：自然語(yǔ)言生成 62

3.3.1　網(wǎng)絡(luò)模型 62

3.3.2　實(shí)戰(zhàn)：生成文本 63

3.3.3　集束搜索 65

3.4　讓計(jì)算機(jī)專心致志：注意力機(jī)制 67

3.4.1　注意力機(jī)制的計(jì)算 68

3.4.2　實(shí)戰(zhàn)：利用內(nèi)積函數(shù)計(jì)算注意力 69

3.4.3　序列到序列模型 69

3.5　本章小結(jié) 70

第二篇　架構(gòu)篇

第4章　機(jī)器閱讀理解模型架構(gòu) 72

4.1　總體架構(gòu) 72

4.2　編碼層 74

4.2.1　詞表的建立和初始化 74

4.2.2　字符編碼 75

4.2.3　上下文編碼 77

4.3　交互層 79

4.3.1　互注意力 79

4.3.2　自注意力 81

4.3.3　上下文編碼 82

4.4　輸出層 83

4.4.1　構(gòu)造問(wèn)題的向量表示 83

4.4.2　多項(xiàng)選擇式答案生成 84

4.4.3　區(qū)間式答案生成 85

4.4.4　自由式答案生成 87

4.5　本章小結(jié) 93

第5章　常見(jiàn)機(jī)器閱讀理解模型 94

5.1　雙向注意力流模型 94

5.1.1　編碼層 94

5.1.2　交互層 95

5.1.3　輸出層 98

5.2　R-net 99

5.2.1　基于注意力的門(mén)控循環(huán)神經(jīng)網(wǎng)絡(luò) 100

5.2.2　網(wǎng)絡(luò)架構(gòu) 101

5.3　融合網(wǎng)絡(luò) 104

5.3.1　單詞歷史 104

5.3.2　全關(guān)注注意力 105

5.3.3　總體架構(gòu) 106

5.4　關(guān)鍵詞檢索與閱讀模型 109

5.4.1　檢索器 110

5.4.2　閱讀器 112

5.5　本章小結(jié) 115

第6章　預(yù)訓(xùn)練模型 116

6.1　預(yù)訓(xùn)練模型和遷移學(xué)習(xí) 116

6.2　基于翻譯的預(yù)訓(xùn)練模型CoVe 118

6.2.1　機(jī)器翻譯模型 119

6.2.2　上下文編碼 120

6.3　基于語(yǔ)言模型的預(yù)訓(xùn)練模型ELMo 121

6.3.1　雙向語(yǔ)言模型 122

6.3.2　ELMo的使用 123

6.4　生成式預(yù)訓(xùn)練模型GPT 125

6.4.1　Transformer 125

6.4.2　GPT模型架構(gòu) 129

6.4.3　GPT使用方法 129

6.5　劃時(shí)代的預(yù)訓(xùn)練模型BERT 131

6.5.1　雙向語(yǔ)言模型 131

6.5.2　判斷下一段文本 132

6.5.3　BERT預(yù)訓(xùn)練細(xì)節(jié) 133

6.5.4　BERT在目標(biāo)任務(wù)中的使用 133

6.5.5　實(shí)戰(zhàn)：在區(qū)間答案型機(jī)器閱讀理解任務(wù)中微調(diào)BERT 137

6.6　本章小結(jié) 138

第三篇　實(shí)戰(zhàn)篇

第7章　機(jī)器閱讀理解模型SDNet代碼解析 140

7.1　多輪對(duì)話式閱讀理解模型SDNet 140

7.1.1　編碼層 141

7.1.2　交互層與輸出層 142

7.2　SDNet代碼介紹與運(yùn)行指南 143

7.2.1　代碼介紹 143

7.2.2　運(yùn)行指南 143

7.2.3　配置文件 145

7.3　預(yù)處理程序 147

7.3.1　初始化函數(shù) 148

7.3.2　預(yù)處理函數(shù) 149

7.4　訓(xùn)練程序 154

7.4.1　訓(xùn)練基類(lèi) 154

7.4.2　訓(xùn)練子類(lèi) 155

7.5　批次數(shù)據(jù)產(chǎn)生器 159

7.5.1　掩碼 160

7.5.2　準(zhǔn)備BERT數(shù)據(jù) 164

7.6　SDNet模型 166

7.6.1　網(wǎng)絡(luò)模型類(lèi) 166

7.6.2　計(jì)算層 171

7.6.3　生成BERT編碼 177

7.7　本章小結(jié) 178

第8章　機(jī)器閱讀理解的應(yīng)用與未來(lái) 179

8.1　智能客服 179

8.1.1　建立產(chǎn)品客服知識(shí)庫(kù) 180

8.1.2　理解用戶意圖 181

8.1.3　答案生成 183

8.1.4　智能客服中的其他模塊 183

8.2　搜索引擎 184

8.2.1　搜索引擎技術(shù) 185

8.2.2　搜索引擎中的機(jī)器閱讀理解 187

8.2.3　未來(lái)與挑戰(zhàn) 188

8.3　醫(yī)療衛(wèi)生 189

8.4　法律 190

8.4.1　智能審判 191

8.4.2　確定適用條款 192

8.5　金融 193

8.5.1　股價(jià)預(yù)測(cè) 193

8.5.2　新聞?wù)? 195

8.6　教育 196

8.7　機(jī)器閱讀理解的未來(lái) 196

8.7.1　機(jī)器閱讀理解研究面臨的挑戰(zhàn) 197

8.7.2　機(jī)器閱讀理解的產(chǎn)業(yè)化 202

8.8　本章小結(jié) 203

附錄A　機(jī)器學(xué)習(xí)基礎(chǔ) 205

附錄B　深度學(xué)習(xí)基礎(chǔ) 208