大數據技術及行業(yè)應用

第1章 大數據相關概念
1．1 什么是大數據?
1．2 大數據有多大?
1．3 大數據是一種思維方式
1．4 大數據思維的應用案例
1．5 大數據是如何產生的?
1．6 美國和中國的大數據產業(yè)生態(tài)系統(tǒng)
1．7 如何學習大數據技術
本章小結
參考文獻
第2章 搭建私有大數據處理平臺
2．1 FreeBSD操作系統(tǒng)安裝
2．2 基礎軟件安裝
2．2．1 安裝Java運行環(huán)境
2．2．2 安裝bash
2．3 Hadoop安裝配置
2．3．1 系統(tǒng)規(guī)劃
2．3．2 配置conf／masters、con．f／slaves文件
2．3．3 Hadoop安裝
2．4 Hadoop開發(fā)環(huán)境配置
2．4．1 編譯Hadoop-eclipse-plugin-1．1．2．jar插件
2．4．2 eclipse配置
2．4．3 測試
2．5 Hadoop升級
2．6 Zookeeper安裝
2．6．1 在FreeBSD上安裝Zookeeper
2．6．2 啟動并測試Zookeeper
2．7 HBase安裝配置
2．8 FreeBSD上網配置
2．8．1 VPN上網配置
2．8．2 網頁認證上網配置
2．9 配置殺毒軟件
本章小結
第3章 大數據平臺虛擬化解決方案
3．1 Ubuntu上安裝Docker
3．1．1 Docker簡介
3．1．2 Docker安裝
3．1．3 Docker鏡像相關命令
3．1．4 Docker容器相關命令
3．1．5 Dockerfile創(chuàng)建鏡像
3．1．6 Docker實現Spark集群
3．1．7 Docker集中化Web界面管理平臺shipyard
3．1．8 DockerUI
3．2 OpenStack搭建
3．2．1 下載工具和鏡像
3．2．2 配置網橋
3．2．3 安裝fuel
3．2．4 安裝OpenStack平臺
3．2．5 使用OpenStack平臺
本章小結
參考文獻
第4章 大數據平臺解決方案
4．1 大數據平臺比較
4．2 CDH大數據平臺搭建
4．2．1 Cloudera Manager安裝
4．2．2 添加服務
4．3 HDP大數據平臺搭建
4．3．1 部署Ambari
4．3．2 用Amban_web部署HDP平臺
本章小結
第5章 Spark在大數據處理中的應用
5．1 Spark集群搭建
5．1．1 Scala在Ubuntu下的安裝和配置
5．1．2 Spark集群搭建
5．1．3 Spark集群啟動測試
5．2 Spark-shell統(tǒng)計社交網絡中節(jié)點的度
5．2．1 啟動HDFS和Spark
5．2．2 運行Spark-shell
5．2．3 統(tǒng)計社交網絡中節(jié)點的度
5．3 Spark GraphX
5．3．1 屬性圖
5．3．2 圖操作
5．3．3 構建圖
5．3．4 圖計算相關算法
5．3．5 GraphX圖計算實例
本章小結
參考文獻
第6章 大數據技術在環(huán)境科學中的應用
6．1 大氣環(huán)境科學的數值模式的介紹
6．1．1 氣象模式
6．1．2 區(qū)域空氣質量模式
6．2 高分辨率實時觀測的大數據
本章小結
參考文獻
第7章 大數據在DrugBank藥物數據庫聚類方面的應用
7．1 簡介
7．2 開發(fā)環(huán)境及編程語言
7．3 算法設計
7．3．1 算法設計流程
7．3．2 相似度的計算
7．4 算法實現
7．4．1 文件的解析
7．4．2 對靶標、作用酶的分析
7．4．3 對分子中原子百分比的處理過程
7．4．4 結果的整合
7．4．5 最終結果展示
本章小結
參考文獻
第8章 大數據在電子商務數據分析中的應用
8．1 研究現狀
8．2 相關技術及概念
8．2．1 網絡爬蟲
8．2．2 HtmlUnit工具包
8．2．3 Mahout
8．2．4 樸素貝葉斯算法
8．2．5 文檔向量
8．2．6 TF-IDF改進加權
8．2．7 中文分詞
8．3 需求分析
8．3．1 系統(tǒng)功能
8．3．2 系統(tǒng)界面
8．4 概要設計
8．4．1 系統(tǒng)模塊設計
8．4．2 數據庫設計
8．5 詳細設計
8．5．1 用戶登錄模塊
8．5．2 爬蟲管理模塊
8．5．3 算法管理模塊
8．5．4 用戶管理模塊
8．6 系統(tǒng)測試
8．6．1 訓練集準備
8．6．2 新數據準備
8．6．3 訓練模型
8．6．4 數據分類
8．6．5 分類結果分析
本章小結
參考文獻
第9章 大數據技術在社交網絡研究中的應用
9．1 社區(qū)發(fā)現研究簡介
9．2 社區(qū)發(fā)現相關研究工作
9．2．1 相關工作
9．2．2 研究動機
9．3 模型與問題的形式化
9．3．1 社區(qū)森林模型
9．3．2 問題形式化
9．4 骨干度算法
9．4．1 骨干度算法框架
9．4．2 算法的時間復雜度
9．4．3 算法比較
9．5 實驗分析
9．5．1 數據集
9．5．2 一個特定人際關系網絡的測試
9．5．3 Zachary的空手道俱樂部測試
9．5．4 美國大學橄欖球隊
9．5．5 安然電子郵件公司數據集
9．5．6 DBLP合作網絡
9．5．7 結論
本章小結
參考文獻
第10章 大數據技術在文本挖掘和情感分類中的應用
10．1 研究綜述
lO．1．1 基于產品特征的觀點挖掘研究
10．1．2 產品評論結構化信息抽取方法
10．1．3 評論信息分類相關研究方法
10．2 評論文本的結構化信息抽取
10．2．1 產品特征抽取
10．2．2 基于關聯規(guī)則抽取評論的隱式特征
10．2．3 基于監(jiān)督學習抽取評論的隱式特征
10．3 情感分類研究綜述
10．3．1 基于詞典與語言規(guī)則進行情感分類
10．3．2 觀點挖掘結果歸納
10．4 算法評估結果與分析
10．4．1 隱式特征抽取實驗結果及分析
10．4．2 篇章 粒度情感分類實驗結果及分析
10．4．3 語句粒度情感分類實驗結果及分析
本章小結
參考文獻
第11章 大數據技術在電力系統(tǒng)中的應用
11．1 一種云可視化機網協(xié)調控制響應特性數據挖掘方法
11．1．1 技術領域
11．1．2 背景技術
11．1．3 方案內容
11．2 基于電力數據分析的河北南網電力市場化風險對沖方法
11．2．1 電網對發(fā)電側市場化風險對沖分析
11．2．2 電網對用電側市場化風險對沖分析
11．2．3 基于方差偏離規(guī)律的統(tǒng)計套利對沖方法
本章小結
附錄 FreeBSD操作系統(tǒng)安裝