文本挖掘技術及其應用

第一部分文本挖掘技術
第一章 技術介紹
1.1 整合文本挖掘與數(shù)據(jù)挖掘 7
1.2 基礎技術 10
第二章 資料分析
2.1 挖掘流程 20
2.1.1 數(shù)據(jù)分析 21
2.1.2 基礎挖掘 26 
第二部分文本挖掘以軟件R為例
第一章 緒論
1.1 什么是Big Data 31
1.2 數(shù)據(jù)挖掘 32
1.3 文字挖掘 33
1.4 R軟件 34
1.4.1 R簡介 34
1.4.2 R的特色 34
1.4.3 R的基本安裝 35
1.4.4 包安裝 35
第二章 基本工具
2.1 基本工具 37
2.1.1 安裝rJava包 37
2.1.2 安裝Rwordseg包 37
2.1.3 安裝tm包 38
2.1.4 安裝tmcn包 38
2.1.5 安裝wordcloud、ggplot2、graphics包 38
2.1.6 安裝Rfacebook、Rweibo、Rtwitter包 38
2.2 社群開放平臺權(quán)限申請 39
2.2.1 如何獲得Facebook權(quán)限 39
2.2.2 如何獲得Weibo權(quán)限 46
第三章 文字挖掘之爬蟲
3.1 R Facebook 50
3.1.1 使用者發(fā)文 50
3.1.2 粉絲者發(fā)文 51
3.1.3所需R包（Rfacebook、fbOAuth、getPage、getPost） 54
3.2 R Weibo 58
3.2.1 主題 58
3.2.2 時間區(qū)間 59
3.2.3 所需R包（XML、Rweibo、web.search.content） 61
3.3 R Twitter 64
3.3.1 關鍵詞 64
3.3.2 所需R包（devtools、rjson、bit64、httr、twitteR、sink） 66
3.4 網(wǎng)頁爬蟲 70
3.4.1 爬一般網(wǎng)頁文字 70
3.4.2 爬PTT網(wǎng)頁文字 74
3.4.3 所需R包（XML、RCurl） 76
3.5 SpideR 79
3.5.1 所需R包 79
3.5.2 有關爬蟲時的注意事項 79
3.5.3 抓取網(wǎng)頁數(shù)據(jù)的標準作業(yè)程序 80
3.5.4 R IDE的Encoding 80
3.5.5 讀取檔案或網(wǎng)頁的Encoding 81
3.5.6 R IDE 開發(fā)SpideR 面對Encoding 的解決方案 82
第四章 數(shù)據(jù)預處理
4.1 編碼處理 83
4.2 代表性語料庫、詞庫簡介 85
4.3 斷詞方法 90
4.4 字詞處理 93
4.5 語料庫建立 95
4.6 正則表達式(Regular Expressions) 98
第五章 資料分析
5.1 頻率 99
5.2 DTM(TDM) matrix 100
5.3 關聯(lián)分析 103
5.4 集群分析 104
5.5 主成份分析 109
5.6 詞云聚類分析 114 
第三部分文本挖掘 MS SQL Sever
第一章 數(shù)據(jù)預處理
1.1 匯入文檔 NGArticles 120
1.2 建立NGArticles的辭庫 130
1.2.1 建立字詞 (Dictionary) 130
1.2.2 建立詞向量 145
1.2.3 建立Train Sample和Test Sample 154
第二章 資料分析
2.1 串聯(lián)Train Sample、Test Sample和TermVectors 160
2.2 建構(gòu)datamining模型（判定樹、類神經(jīng)網(wǎng)絡、羅吉斯回歸） 164
2.3 圖表分析 173
2.3.1 各模型之精確度圖表分析 173
2.3.2 判定樹圖表分析 175
2.3.3 類神經(jīng)網(wǎng)絡圖表分析 176 
第四部分 TextMining在實務上的應用
1.1 創(chuàng)造商機 205
1.2 結(jié)語 213