從零構(gòu)建向量數(shù)據(jù)庫·珊瑚書

第 一部分　認(rèn)識(shí)向量數(shù)據(jù)庫
第 1章　向量數(shù)據(jù)庫基礎(chǔ)　2
1.1　向量　2
1.1.1　什么是向量　2
1.1.2　萬物皆可向量　4
1.1.3　向量間的相似度　6
1.1.4　相似度應(yīng)用案例　8
1.2　數(shù)據(jù)庫　11
1.2.1　什么是數(shù)據(jù)庫　11
1.2.2　關(guān)系型數(shù)據(jù)庫　13
1.2.3　非關(guān)系型數(shù)據(jù)庫　14
1.2.4　傳統(tǒng)數(shù)據(jù)庫的限制　15
1.3　為什么需要向量數(shù)據(jù)庫　16
1.3.1　向量數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)的差異　16
1.3.2　向量數(shù)據(jù)庫應(yīng)運(yùn)而生　17
1.3.3　大模型時(shí)代的智能存儲(chǔ)平臺(tái)　18
1.4　小結(jié)　19
第 2章　向量數(shù)據(jù)庫極簡史　21
2.1　孕育期（1980—2012）　21
2.1.1　深度神經(jīng)網(wǎng)絡(luò)的飛速發(fā)展　22
2.1.2　深度神經(jīng)網(wǎng)絡(luò)vs向量數(shù)據(jù)庫　23
2.2　誕生期（2012—2017）　24
2.3　成長期（2017年至今）　25
2.3.1　行業(yè)發(fā)展簡況　26
2.3.2　代表性產(chǎn)品能力對(duì)比　27
2.3.3　代表性產(chǎn)品技術(shù)架構(gòu)　28
2.4　小結(jié)　32
第3章　向量數(shù)據(jù)庫的核心能力　33
3.1　基礎(chǔ)能力　33
3.1.1　邏輯層次　34
3.1.2　索引　39
3.1.3　關(guān)鍵指標(biāo)　42
3.2　高階能力　43
3.2.1　動(dòng)態(tài)schema　43
3.2.2　別名機(jī)制　44
3.2.3　向量化　45
3.2.4　混合查詢　46
3.3　小結(jié)　47
第二部分　構(gòu)建向量數(shù)據(jù)庫
第4章　實(shí)現(xiàn)單機(jī)向量數(shù)據(jù)庫　50
4.1　實(shí)現(xiàn)向量數(shù)據(jù)索引　50
4.1.1　FAISS核心功能　51
4.1.2　實(shí)現(xiàn)扁平索引　56
初始版本v0.0.1　62
4.1.3　HNSWLib核心功能　63
4.1.4　實(shí)現(xiàn)HNSW索引　70
版本迭代v0.0.2　73
4.2　實(shí)現(xiàn)混合數(shù)據(jù)索引　74
4.2.1　實(shí)現(xiàn)標(biāo)量數(shù)據(jù)索引　74
4.2.2　統(tǒng)一管理入口　 76
版本升級(jí)v0.1 　 79
4.2.3　實(shí)現(xiàn)過濾索引　 80
版本迭代v0.1.1　 86
4.3　實(shí)現(xiàn)系統(tǒng)異常恢復(fù)　 87
4.3.1　數(shù)據(jù)日志持久化　 87
版本迭代v0.1.2　 91
4.3.2　數(shù)據(jù)快照持久化　 92
版本升級(jí)v0.2　 97
4.4　小結(jié)　 97
第5 章　實(shí)現(xiàn)分布式向量數(shù)據(jù)庫　 99
5.1　集群數(shù)據(jù)管理　 100
5.1.1　認(rèn)識(shí)NuRaft　 102
5.1.2　建立主從關(guān)系　 106
5.1.3　實(shí)現(xiàn)數(shù)據(jù)復(fù)制　 110
版本升級(jí)v0.3　 113
5.2　集群流量管理　 113
5.2.1　集群的元數(shù)據(jù)管理　 114
5.2.2　統(tǒng)一的流量入口　 117
5.2.3　讀寫分離　 121
5.2.4　保證讀寫一致性　 122
版本升級(jí)v0.4　 123
5.3　集群異常管理　 123
5.3.1　發(fā)現(xiàn)新主節(jié)點(diǎn)　 123
5.3.2　發(fā)現(xiàn)故障從節(jié)點(diǎn)　 125
5.3.3　實(shí)現(xiàn)故障切換　 127
版本升級(jí)v0.5　 128
5.4　集群的分片　 130
5.4.1　配置集群的分片策略　 130
5.4.2　根據(jù)分片策略轉(zhuǎn)發(fā)請(qǐng)求　 132
版本升級(jí)v0.6　 139
5.5　小結(jié)　 140
第6 章　優(yōu)化向量數(shù)據(jù)庫　 142
6.1　性能優(yōu)化　 143
6.1.1　利用指令集優(yōu)化向量計(jì)算　 143
6.1.2　優(yōu)化查詢算法　 144
6.1.3　優(yōu)化通信協(xié)議　 147
6.1.4　自定義基準(zhǔn)測(cè)試工具　 149
6.2　成本優(yōu)化　 154
6.2.1　多模塊混合部署　 155
6.2.2　單節(jié)點(diǎn)部署　 158
6.3　易用性優(yōu)化　 160
6.3.1　SDK　 160
6.3.2　訪問鑒權(quán)　 162
6.3.3　數(shù)據(jù)備份　 169
6.4　小結(jié)　 172
第三部分　向量數(shù)據(jù)庫的實(shí)踐與展望
第7 章　向量數(shù)據(jù)庫實(shí)踐案例　 176
7.1　搭建圖片查詢系統(tǒng)　 176
7.1.1　圖片向量化　 176
7.1.2　圖片上傳和查詢　 179
7.1.3　系統(tǒng)效果一覽　 181
7.2　搭建個(gè)人知識(shí)庫　 182
7.2.1　知識(shí)預(yù)處理　 182
7.2.2　知識(shí)向量化　 183
7.2.3　知識(shí)庫管理　 184
7.2.4　知識(shí)問答　 185
7.2.5　系統(tǒng)效果一覽　 186
7.3　小結(jié)　 187
第8 章　展望　 189
8.1　從行業(yè)演進(jìn)視角看　 190
8.1.1　人類調(diào)度數(shù)據(jù)新范式　 190
8.1.2　向量數(shù)據(jù)抹平數(shù)據(jù)格式差異　 192
8.1.3　向量數(shù)據(jù)庫平臺(tái)化的關(guān)鍵　 193
8.2　從行業(yè)應(yīng)用視角看　 194
8.2.1　RAG 簡介　 195
8.2.2　降低RAG 使用門檻　 196
8.3　小結(jié)　 197