開發(fā)自己的搜索引擎：Lucene+Heritrix（第2版）

第1章 搜索引擎與信息檢索 1
1.1 搜索引擎的歷史 1
1.1.1 萌芽：Archie、Gopher 1
1.1.2 起步：Robot(網(wǎng)絡(luò)機(jī)器人)的出現(xiàn)與Spider(網(wǎng)絡(luò)爬蟲) 3
1.1.3 發(fā)展：Excite、Galaxy、Yahoo等 4
1.1.4 繁榮：Infoseek、AltaVista、Google和Baidu 6
1.2 信息檢索系統(tǒng)的基本知識 9
1.2.1 信息檢索系統(tǒng) 9
1.2.2 信息檢索的過程 11
1.2.3 傳統(tǒng)查找的優(yōu)點(diǎn)和不足 12
1.2.4 使用索引提高檢索速度 12
1.2.5 倒排索引 13
1.2.6 評價(jià)信息檢索系統(tǒng)的標(biāo)準(zhǔn) 14
1.3 Lucene的簡介 14
1.4 小結(jié) 15
第2章 Lucene入門實(shí)例 16
2.1 實(shí)例介紹 16
2.1.1 實(shí)例說明 16
2.1.2 開發(fā)過程 16
2.2 準(zhǔn)備工作 17
2.2.1 將文檔的全角標(biāo)點(diǎn)轉(zhuǎn)成半角標(biāo)點(diǎn) 17
2.2.2 將大文檔切分成多個(gè)小文檔 20
2.2.3 預(yù)處理源文件的統(tǒng)一接口 21
2.3 創(chuàng)建Eclipse工程 22
2.3.1 準(zhǔn)備工作 22
2.3.2 創(chuàng)建工程并引入Lucene的JAR包 24
2.3.3 運(yùn)行文檔預(yù)處理類 31
2.3.4 創(chuàng)建處理文檔的索引類：IndexProcessor 32
2.3.5 創(chuàng)建檢索索引的搜索類 34
2.4 運(yùn)行效果 38
2.5 小結(jié) 41
第3章 索引的建立 42
3.1 Document邏輯文件 42
3.1.1 Lucene的Document 42
3.1.2 為Document添加多種Field 43
3.1.3 Document的內(nèi)部實(shí)現(xiàn) 45
3.2 Field的內(nèi)部實(shí)現(xiàn) 46
3.2.1 Field包含的類 47
3.2.2 Field類的構(gòu)造方法 48
3.3 Lucene的索引工具IndexWriter 49
3.3.1 IndexWriter的初始化 50
3.3.2 向索引添加文檔 52
3.3.3 限制每個(gè)Field中的詞條的數(shù)量 53
3.4 Lucene索引過程詳解 54
3.4.1 Lucene索引建立過程概覽 54
3.4.2 使用addDocument方法向索引添加文檔 55
3.4.3 DocumentWriter的addDocument方法 57
3.4.4 文檔的倒排 62
3.4.5 對postingTable進(jìn)行排序 66
3.4.6 將Posting信息寫入索引 68
3.5 索引文件格式 68
3.5.1 索引的segment 69
3.5.2 .fnm格式 69
3.5.3 .fdx與.fdt格式 70
3.5.4 .tii與.tis格式 71
3.5.5 deletable格式 71
3.5.6 復(fù)合索引格式.cfs 71
3.6 索引過程的調(diào)優(yōu) 72
3.6.1 合并因子mergeFactor 72
3.6.2 maxMergeDocs 73
3.6.3 minMergeDocs 73
3.7 索引的合并與索引的優(yōu)化 74
3.7.1 FSDirectory與RAMDirectory 74
3.7.2 使用IndexWriter來合并索引 75
3.7.3 索引的優(yōu)化 76
3.8 從索引中刪除文檔 78
3.8.1 索引的讀取工具Index-Reader 78
3.8.2 使用文檔ID號來刪除特定文檔 81
3.8.3 使用Field信息來刪除批量文檔 84
3.9 Lucene的同步問題 85
3.9.1 為什么要進(jìn)行同步以及Lucene的同步法則 85
3.9.2 commit.lock與write.lock 85
3.10 Lucene 2.0的新類：IndexModifier類 86
3.11 小結(jié) 87
第4章 Lucene搜索 88
4.1 使用IndexSearcher進(jìn)行搜索 88
4.1.1 初始化IndexSearcher 88
4.1.2 IndexSearcher的最簡單使用 89
4.1.3 IndexSearcher的多種search方法 90
4.2 Hits類詳解 92
4.2.1 Hits類的公有接口 92
4.2.2 效率分析 93
4.2.3 Hits內(nèi)部的緩存 95
4.2.4 Hits類的工作原理 98
4.3 對搜索結(jié)果的評分 98
4.3.1 文檔與詞條的向量空間 98
4.3.2 Lucene的文檔得分算法 99
4.4 構(gòu)建各種Lucene內(nèi)建的Query對象 103
4.4.1 toString：查看原子查詢 103
4.4.2 查詢重寫與權(quán)重 103
4.4.3 TermQuery詞條搜索 104
4.4.4 BooleanQuery布爾搜索 105
4.4.5 RangeQuery范圍搜索 113
4.4.6 PrefixQuery前綴搜索 117
4.4.7 PhraseQuery：短語搜索 119
4.4.8 MultiPhraseQuery：多短語搜索 123
4.4.9 FuzzyQuery模糊搜索 128
4.4.10 WildcardQuery通配符搜索 131
4.4.11 SpanQuery跨度搜索 132
4.5 第三方提供的Query對象：RegexQuery 140
4.6 通過QueryParser轉(zhuǎn)換用戶關(guān)鍵字 142
4.6.1 詞條的定義 143
4.6.2 QueryParser初始化 143
4.6.3 改變QueryParser默認(rèn)的布爾邏輯 144
4.6.4 短語和QueryParser 145
4.6.5 FuzzyQuery和QueryParser 147
4.6.6 通配符與QueryParser 147
4.6.7 查找指定的Field 148
4.6.8 RangeQuery與QueryParser 151
4.6.9 QueryParser和SpanQuery 152
4.7 多Field搜索與多索引搜索 153
4.7.1 多域搜索MultiFieldQuery-Parser 153
4.7.2 MultiSearcher在多個(gè)索引上搜索 155
4.7.3 ParalellMultiSearcher：多線程搜索 158
4.7.4 Searchable和RMI 161
4.8 小結(jié) 162
第5章 排序、過濾和分頁 163
5.1 相關(guān)度排序 163
5.1.1 使用Score進(jìn)行自然排序 163
5.1.2 Searcher的explain方法 165
5.1.3 通過改變boost值來改變文檔的得分 166
5.2 使用Sort來排序 170
5.2.1 Sort簡介 170
5.2.2 SortField 171
5.2.3 按文檔得分進(jìn)行排序 172
5.2.4 按文檔的內(nèi)部ID號來排序 175
5.2.5 按一個(gè)或多個(gè)Field來排序 175
5.2.6 改變SortField中的Locale信息 182
5.3 搜索的過濾器 183
5.3.1 過濾器的基本結(jié)構(gòu) 183
5.3.2 一個(gè)簡單的Filter：建立索引 184
5.3.3 一個(gè)簡單的Filter：打印索引文檔信息 186
5.3.4 一個(gè)簡單的Filter：安全級別與過濾器代碼 187
5.3.5 一個(gè)簡單的Filter：在搜索時(shí)應(yīng)用過濾器 188
5.3.6 一個(gè)簡單的Filter：總結(jié) 190
5.3.7 按范圍過濾RangeFilter 190
5.3.8 在結(jié)果中查詢QueryFilter 194
5.3.9 緩存結(jié)果：Caching-WrapperFilter 197
5.4 翻頁問題 198
5.4.1 依賴于session的翻頁 198
5.4.2 多次查詢 198
5.4.3 緩存+多次查詢 199
5.4.4 緩存+多次查詢+數(shù)據(jù)庫 199
5.5 小結(jié) 200
第6章 Lucene的分析器 201
6.1 分析 201
6.1.1 分詞 201
6.1.2 Lucene的分析器結(jié)構(gòu) 202
6.1.3 Lucene的分析器實(shí)現(xiàn) 204
6.2 Lucene與JavaCC 205
6.2.1 JavaCC簡介 205
6.2.2 JavaCC為Lucene提供的分析器腳本 206
6.2.3 Lucene的標(biāo)準(zhǔn)分析器 210
6.2.4 標(biāo)準(zhǔn)過濾器：Standard-Filter 211
6.2.5 大小寫轉(zhuǎn)換器：Lower-CaseFilter 212
6.2.6 忽略詞過濾器：StopFilter 213
6.3 分析器的進(jìn)階 213
6.3.1 再看StandardAnalyzer中的管道過濾器結(jié)構(gòu) 214
6.3.2 長度過濾器：LengthFilter 214
6.3.3 PerFieldAnalyzerWrapper 215
6.3.4 其他 215
6.4 對中文的分析 216
6.4.1 現(xiàn)有的中文分詞方式簡介 216
6.4.2 中科院的分詞軟件和JE分詞 218
6.5 小結(jié) 224
第7章 Word、Excel和PDF的處理 225
7.1 使用PDFBox處理PDF文檔 225
7.1.1 PDFBox的下載 225
7.1.2 在Eclipse中配置 226
7.1.3 使用PDFBox解析PDF內(nèi)容 227
7.1.4 運(yùn)行效果 228
7.1.5 與Lucene的集成 230
7.2 使用xpdf來處理中文PDF文檔 232
7.2.1 xpdf的下載 232
7.2.2 配置 232
7.2.3 提取中文 233
7.2.4 運(yùn)行效果 236
7.3 使用POI來處理Excel和Word文件格式 237
7.3.1 對Excel的處理類 237
7.3.2 ExcelReader的運(yùn)行效果 241
7.3.3 POI中Excel文件Cell的類型 243
7.3.4 對Word的處理類 245
7.4 使用Jacob來處理Word文檔 247
7.4.1 Jacob的下載 247
7.4.2 在Eclipse中配置 247
7.5 小結(jié) 249
第8章 Compass：封裝了Lucene的框架 250
8.1 Compass簡介 250
8.1.1 Compass的下載 250
8.1.2 Compass的代碼片斷 250
8.2 Compass的初始配置 252
8.2.1 Compass的配置文件 252
8.2.2 將索引存放于內(nèi)存中 253
8.2.3 使用JDBC來存儲索引 253
8.2.4 使用連接池來存儲索引 254
8.2.5 加載compass.cfg.xml文件 255
8.3 域模型的配置 255
8.3.1 實(shí)體代碼 255
8.3.2 實(shí)體關(guān)系 261
8.3.3 實(shí)體Book的配置文件 262
8.3.4 通用元數(shù)據(jù)定義文件(.cmd.xml) 263
8.3.5 Author和Article的配置文件 267
8.4 使用Compass來建立索引 269
8.4.1 索引代碼 269
8.4.2 對象關(guān)系圖和運(yùn)行結(jié)果 271
8.5 使用Compass來搜索 272
8.5.1 使用find()方法搜索 272
8.5.2 CompassHits類型 273
8.5.3 CompassHit類型 274
8.5.4 使用Lucene語法來查找 275
8.6 配置Analyzer和Optimizer 276
8.7 小結(jié) 277
第9章 Lucene分布式 278
9.1 Lucene與分布式 278
9.1.1 什么是GFS 278
9.1.2 為Lucene提供分布式的幾點(diǎn)設(shè)想 279
9.2 小結(jié) 281
第10章 無比強(qiáng)大的網(wǎng)絡(luò)爬蟲Heritrix 282
10.1 Heritrix的使用入門 282
10.1.1 下載和運(yùn)行Heritrix 282
10.1.2 在Eclipse里配置heritrix的開發(fā)環(huán)境 285
10.1.3 創(chuàng)建一個(gè)新的抓取任務(wù) 290
10.1.4 設(shè)置抓取時(shí)的處理鏈 292
10.1.5 設(shè)置運(yùn)行時(shí)的參數(shù) 295
10.1.6 運(yùn)行抓取任務(wù) 297
10.1.7 Heritrix的鏡像存儲結(jié)構(gòu) 302
10.1.8 終止抓取或終止Heritrix的運(yùn)行 303
10.2 Heritrix的架構(gòu) 304
10.2.1 抓取任務(wù)CrawlOrder 304
10.2.2 中央控制器CrawlController 305
10.2.3　Frontier鏈接制造工廠 308
10.2.4　用Berkeley DB實(shí)現(xiàn)的BdbFrontier 313
10.2.5　Heritrix的多線程ToeThread和ToePool 316
10.2.6 處理鏈和Processor 319
10.3 擴(kuò)展和定制Heritrix 322
10.3.1 向Heritrix中添加自己的Extractor 323
10.3.2 定制Queue-assignment-policy兩個(gè)問題 327
10.3.3 定制Queue-assignment-policy繼承 QueueAssignmentPolicy類 328
10.3.4 擴(kuò)展FrontierScheduler來抓取特定的內(nèi)容 329
10.3.5 在Prefetcher中取消robots.txt的限制 330
10.4 小結(jié) 331
第11章 搜索引擎綜合實(shí)例：準(zhǔn)備篇 332
11.1 數(shù)碼產(chǎn)品垂直搜索引擎實(shí)例簡介 332
11.1.1 垂直搜索引擎實(shí)現(xiàn)流程 332
11.1.2 數(shù)碼垂直搜索引擎搜索功能 333
11.1.3 信息來源網(wǎng)站的選擇方法 333
11.1.4 太平洋電腦網(wǎng)和網(wǎng)易手機(jī)頻道 334
11.2 準(zhǔn)備Eclipse的Web開發(fā)環(huán)境 335
11.2.1 準(zhǔn)備Eclipse的Web插件環(huán)境 335
11.2.2 在Eclipse中配置插件 336
11.3 準(zhǔn)備垂直搜索引擎工程 337
11.3.1 建立搜索引擎Eclipse工程 338
11.3.2 設(shè)置搜索引擎工程上下文信息 339
11.3.3 設(shè)定源代碼存放和輸出路徑 340
11.3.4 添加自定義的Java代碼 341
11.3.5 添加工程中引用的Jar包 343
11.3.6 創(chuàng)建工程JSP頁面文件 345
11.3.7 構(gòu)造完成的工程整體結(jié)構(gòu) 347
11.4 搜索引擎配置信息管理及相關(guān)類 349
11.4.1 工程配置信息管理 349
11.4.2 系統(tǒng)屬性配置文件 350
11.4.3 配置文件管理封裝類 350
11.5 小結(jié) 352
第12章 搜索引擎綜合實(shí)例：下載篇 353
12.1 數(shù)碼產(chǎn)品網(wǎng)絡(luò)爬蟲 353
12.1.1 垂直搜索引擎網(wǎng)絡(luò)爬蟲設(shè)計(jì) 353
12.1.2 來源網(wǎng)站內(nèi)容與鏈接分析 354
12.2 數(shù)碼產(chǎn)品信息來源列表準(zhǔn)備 356
12.2.1 太平洋電腦網(wǎng)待抓取內(nèi)容頁面分析 356
12.2.2 太平洋電腦網(wǎng)帶抓取內(nèi)容代碼分析 359
12.2.3 太平洋電腦網(wǎng)手機(jī)品牌清單分析 362
12.3 Eclipse中定制數(shù)碼產(chǎn)品Heritrix爬蟲 367
12.3.1 數(shù)碼產(chǎn)品Heritrix爬蟲的功能 367
12.3.2 Eclipse中導(dǎo)入編譯Heritrix工程 368
12.3.3 Eclipse中運(yùn)行Heritrix工程 370
12.4 抓取pconline網(wǎng)頁的定制擴(kuò)展類 371
12.4.1 抓取pconline網(wǎng)頁的Frontier擴(kuò)展 371
12.4.2 執(zhí)行pconline手機(jī)網(wǎng)頁抓取任務(wù) 373
12.5 抓取網(wǎng)易手機(jī)頻道的定制擴(kuò)展類 375
12.5.1 網(wǎng)易手機(jī)頻道結(jié)構(gòu)分析 375
12.5.2 設(shè)計(jì)網(wǎng)易抓取的Extractor擴(kuò)展 378
12.5.3 設(shè)計(jì)網(wǎng)易抓取的Frontier擴(kuò)展 381
12.5.4 執(zhí)行網(wǎng)易手機(jī)頻道網(wǎng)頁抓取任務(wù) 382
12.6 小結(jié) 383
第13章 使用正則表達(dá)式與HTML Parser分析網(wǎng)頁 384
13.1 網(wǎng)頁內(nèi)容分析方法概述 384
13.1.1 網(wǎng)頁HTML的基本知識 384
13.1.2 JDK正則表達(dá)式簡介 385
13.1.3 HTMLParser開源庫介紹 387
13.2 正則表達(dá)式精確提取網(wǎng)頁內(nèi)容 388
13.2.1 正則表達(dá)式j(luò)ava.util.regex使用 388
13.2.2 正則表達(dá)式提取tom星座內(nèi)容實(shí)例 390
13.2.3 正則表達(dá)式提取pconline手機(jī)品牌列表 396
13.3 HTMLParser高效提取網(wǎng)頁內(nèi)容 398
13.3.1 HTMLParser使用準(zhǔn)備 398
13.3.2 Lexer模式功能及實(shí)現(xiàn) 399
13.3.3 HTMLParser功能及實(shí)現(xiàn) 404
13.3.4 HTMLParser解析星座網(wǎng)頁實(shí)例 410
13.4 數(shù)碼產(chǎn)品網(wǎng)頁內(nèi)容解析系統(tǒng) 413
13.4.1 產(chǎn)品詳細(xì)信息文件格式 413
13.4.2 解析產(chǎn)品網(wǎng)頁信息的基類Extractor 414
13.5 pconline手機(jī)產(chǎn)品網(wǎng)頁內(nèi)容解析 418
13.5.1 pconline手機(jī)產(chǎn)品頁面Extractor解析器 418
13.5.2 pconline產(chǎn)品信息解析測試函數(shù) 421
13.5.3 pconline產(chǎn)品信息解析代碼執(zhí)行結(jié)果 422
13.6 網(wǎng)易手機(jī)頻道產(chǎn)品內(nèi)容解析 425
13.6.1 網(wǎng)易手機(jī)頻道產(chǎn)品信息的Extractor解析器 425
13.6.2 網(wǎng)易手機(jī)頻道的產(chǎn)品信息運(yùn)行測試效果 428
13.7 小結(jié) 429
第14章 網(wǎng)頁內(nèi)容存儲與索引 430
14.1 構(gòu)建產(chǎn)品檢索名稱信息詞庫 430
14.1.1 產(chǎn)品名稱詞匯選擇 430
14.1.2 產(chǎn)品名稱詞庫提取代碼 431
14.1.3 產(chǎn)品名稱詞庫提取結(jié)果 433
14.2 手機(jī)產(chǎn)品數(shù)據(jù)庫與文件索引結(jié)構(gòu) 434
14.2.1 手機(jī)產(chǎn)品的存儲方法 434
14.2.2 手機(jī)產(chǎn)品信息Product類 435
14.2.3 產(chǎn)品信息數(shù)據(jù)庫存儲結(jié)構(gòu) 437
14.2.4 產(chǎn)品信息Lucene索引結(jié)構(gòu) 438
14.3 產(chǎn)品信息數(shù)據(jù)庫存儲與處理 439
14.3.1 數(shù)據(jù)庫創(chuàng)建與準(zhǔn)備 439
14.3.2 Java數(shù)據(jù)庫基本操作 440
14.3.3 數(shù)碼產(chǎn)品數(shù)據(jù)庫記錄操作 441
14.4 產(chǎn)品信息文件存儲與Lucene索引 443
14.4.1 數(shù)碼產(chǎn)品Lucene索引操作設(shè)計(jì) 443
14.4.2 數(shù)碼產(chǎn)品具體索引操作代碼 445
14.5 產(chǎn)品信息綜合處理與運(yùn)行 446
14.5.1 調(diào)用數(shù)據(jù)庫處理類和索引處理類 446
14.5.2 數(shù)碼產(chǎn)品數(shù)據(jù)處理類運(yùn)行 452
14.6 小結(jié) 454
第15章 搜索引擎綜合實(shí)例：交互篇 455
15.1 DWR的技術(shù)介紹 455
15.1.1 Ajax與DWR簡介 455
15.1.2 Ajax與傳統(tǒng)模式搜索架構(gòu) 456
15.2 DWR安裝與配置 457
15.2.1 DWR的下載與安裝 457
15.2.2 創(chuàng)建工程結(jié)構(gòu) 458
15.2.3 配置web.xml內(nèi)容 460
15.2.4 建立配置dwr.xml內(nèi)容 461
15.3 DWR入門與實(shí)例演示 461
15.3.1 簡單Ajax頁面代碼 461
15.3.2 運(yùn)行效果與對比 464
15.3.3 DWR與直接使用XMLHttpRequest對象的比較 468
15.3.4 在DWR中操縱自定義的對象 470
15.3.5 查看DWR的輸出日志 477
15.4 dwr.xml的配置進(jìn)階 477
15.4.1 dwr.xml的標(biāo)準(zhǔn)結(jié)構(gòu) 478
15.4.2 init標(biāo)簽與DWR自帶的converter和creator 479
15.4.3 allow標(biāo)簽 483
15.4.4 signature標(biāo)簽 484
15.4.5 轉(zhuǎn)換器converter 485
15.5 使用DWR工具庫util.js 488
15.5.1 頁面中調(diào)用util.js 489
15.5.2 使用useLoadingMessage()方法顯示提示圖標(biāo) 490
15.5.3 DWRUtil.setValue()和DWRUtil.getValue() 495
15.5.4 DWRUtil.getValues和DWRUtil.setValues 498
15.5.5 DWRUtil.addOptions和DWRUtil.removeAll-Options 503
15.5.6 DWRUtil.addRows和DWRUtil.removeAll-Rows 508
15.5.7 DWRUtil.toDescriptive-String方法 515
15.6 小結(jié) 516
第16章 搜索引擎綜合實(shí)例：Web篇 517
16.1 Web配置文件 517
16.1.1 配置文件及其作用 517
16.1.2 Spring配置文件 518
16.1.3 DWR配置文件 519
16.1.4 web.xml配置文件 520
16.2 各種搜索相關(guān)Bean類 521
16.2.1 產(chǎn)品SearchResult結(jié)果記錄類 522
16.2.2 產(chǎn)品SearchResults結(jié)果集合類 524
16.2.3 產(chǎn)品SearchRequest檢索請求類 526
16.3 數(shù)據(jù)庫訪問SearchResultDAO類實(shí)現(xiàn) 527
16.3.1 數(shù)碼庫訪問類接口定義 527
16.3.2 數(shù)碼庫訪問類實(shí)現(xiàn) 528
16.4 Lucene索引檢索SearchService類實(shí)現(xiàn) 530
16.4.1 索引檢索類接口定義 530
16.4.2 索引檢索類實(shí)現(xiàn) 531
16.5 前臺Web頁面設(shè)計(jì) 536
16.5.1 數(shù)碼垂直搜索主頁面main.jsp 536
16.5.2 數(shù)碼搜索手機(jī)產(chǎn)品圖片的顯示 542
16.5.3 手機(jī)產(chǎn)品詳細(xì)信息頁面detail.jsp 543
16.6 實(shí)例中的問題與功能擴(kuò)展 546
16.7 小結(jié) 548
附錄 Lucene 2.4更新內(nèi)容 549
F1 IndexWriter的構(gòu)造函數(shù) 549
F2 IndexWriter的init方法 550
F3 IndexWriter中的flush、commit和close 552
F4 Lucene 2.4中的Segment 553
F5 IndexCommit和IndexDeletion-Policy 555
F6 IndexWriter中的add-Document 558
F7 DocumentsWriter類的add-Document方法 559
F8 DocumentsWriter的索引鏈 562