云計(jì)算與大數(shù)據(jù)技術(shù)理論及應(yīng)用

目錄

第1章緒論

1.1分布式計(jì)算概念

1.1.1定義

1.1.2優(yōu)缺點(diǎn)

1.1.3經(jīng)典的分布式計(jì)算項(xiàng)目

1.2分布式計(jì)算模式

1.2.1單機(jī)計(jì)算

1.2.2并行計(jì)算

1.2.3網(wǎng)絡(luò)計(jì)算

1.2.4對(duì)等計(jì)算

1.2.5集群計(jì)算

1.2.6網(wǎng)格計(jì)算

1.2.7云計(jì)算

1.2.8霧計(jì)算

1.2.9邊緣計(jì)算

1.2.10大數(shù)據(jù)計(jì)算

1.3CAP定理

1.3.1CAP定理歷史

1.3.2CAP定理應(yīng)用

1.3.3CAP問(wèn)題的實(shí)例

習(xí)題

第2章分布式計(jì)算編程基礎(chǔ)

2.1進(jìn)程間通信

2.1.1進(jìn)程間通信概念

2.1.2IPC原型與示例

2.2Socket編程

2.2.1Socket概述

2.2.2流式Socket編程

2.3RMI編程

2.3.1RMI概述

2.3.2RMI基本分布式應(yīng)用

2.4P2P編程

習(xí)題

第3章云計(jì)算原理與技術(shù)

3.1云計(jì)算概述

3.1.1云計(jì)算起源

3.1.2云計(jì)算的概念與定義

3.1.3云計(jì)算與分布式計(jì)算

3.1.4云計(jì)算分類(lèi)

3.2云計(jì)算關(guān)鍵技術(shù)

3.2.1體系結(jié)構(gòu)

3.2.2數(shù)據(jù)存儲(chǔ)

3.2.3計(jì)算模型

3.2.4資源調(diào)度

3.2.5虛擬化

3.3Google云計(jì)算原理

3.3.1GFS

3.3.2MapReduce

3.3.3BigTable

3.3.4Dremel

3.4亞馬遜云服務(wù)

3.4.1亞馬遜云平臺(tái)存儲(chǔ)架構(gòu)

3.4.2EC2、S3、SimpleDB等組件

3.5基于亞馬遜云的大數(shù)據(jù)分析案例

3.5.1亞馬遜云平臺(tái)存儲(chǔ)架構(gòu)

3.5.2亞馬遜云的Web服務(wù)器日志大數(shù)據(jù)分析案例

3.6阿里云

3.6.1飛天開(kāi)放平臺(tái)架構(gòu)

3.6.2開(kāi)放云計(jì)算服務(wù)ECS

3.6.3開(kāi)放存儲(chǔ)服務(wù)OSS和CDN

3.6.4開(kāi)放結(jié)構(gòu)化數(shù)據(jù)服務(wù)OTS

3.6.5關(guān)系型數(shù)據(jù)庫(kù)(RDS)

3.6.6開(kāi)放數(shù)據(jù)處理服務(wù)(ODPS)

習(xí)題

第4章云計(jì)算編程實(shí)踐

4.1CloudSim體系結(jié)構(gòu)和API介紹

4.1.1CloudSim體系結(jié)構(gòu)

4.1.2CloudSim 3.0 API介紹

4.2CloudSim環(huán)境搭建和使用方法

4.2.1環(huán)境配置

4.2.2運(yùn)行樣例程序

4.3CloudSim擴(kuò)展編程

4.3.1調(diào)度策略的擴(kuò)展

4.3.2仿真核心代碼

4.3.3平臺(tái)重編譯

4.4CloudSim的編程實(shí)踐

4.4.1CloudSim任務(wù)調(diào)度編程

4.4.2CloudSim網(wǎng)絡(luò)編程

4.4.3CloudSim能耗編程

4.5MultiRECloudSim

4.5.1MultiRECloudSim體系結(jié)構(gòu)和原理

4.5.2MultiRECloudSim的API

4.5.3MultiRECloudSim的使用方法

4.6云環(huán)境任務(wù)調(diào)度編程實(shí)踐

4.6.1云計(jì)算的資源管理

4.6.2云任務(wù)調(diào)度模擬實(shí)驗(yàn)

習(xí)題

第5章云存儲(chǔ)技術(shù)

5.1存儲(chǔ)基礎(chǔ)知識(shí)

5.1.1存儲(chǔ)組網(wǎng)形態(tài)

5.1.2RAID

5.1.3磁盤(pán)熱備

5.1.4快照

5.1.5數(shù)據(jù)分級(jí)存儲(chǔ)概念

5.2云存儲(chǔ)概念與技術(shù)原理

5.2.1分布式存儲(chǔ)

5.2.2存儲(chǔ)虛擬化

5.3對(duì)象存儲(chǔ)技術(shù)

5.3.1對(duì)象存儲(chǔ)架構(gòu)

5.3.2傳統(tǒng)塊存儲(chǔ)與對(duì)象存儲(chǔ)

5.3.3對(duì)象

5.3.4對(duì)象存儲(chǔ)系統(tǒng)組成

5.4存儲(chǔ)技術(shù)趨勢(shì)

5.4.1存儲(chǔ)虛擬化

5.4.2固態(tài)硬盤(pán)

5.4.3重復(fù)數(shù)據(jù)刪除

5.4.4語(yǔ)義化檢索

5.4.5存儲(chǔ)智能化

5.4.6混合存儲(chǔ)系統(tǒng)

習(xí)題

第6章大數(shù)據(jù)技術(shù)原理與平臺(tái)

6.1大數(shù)據(jù)概述

6.1.1大數(shù)據(jù)產(chǎn)生的背景

6.1.2大數(shù)據(jù)的定義

6.1.3大數(shù)據(jù)的4V特征

6.2大數(shù)據(jù)存儲(chǔ)平臺(tái)

6.2.1HDFS

6.2.2HBase

6.2.3Cassandra

6.2.4Redis

6.2.5MongoDB

6.3大數(shù)據(jù)計(jì)算模式

6.3.1MapReduce

6.3.2Spark

6.3.3流式計(jì)算

6.4典型大數(shù)據(jù)分析管理平臺(tái)

6.4.1Cloudera Impala

6.4.2Hortonworks Data Platform

6.4.3HadoopDB

6.5大數(shù)據(jù)并行計(jì)算編程實(shí)踐

6.5.1基于MAPREDUCE程序?qū)嵗?HDFS)

6.5.2基于MAPREDUCE程序?qū)嵗?HBase)

6.5.3基于Spark的程序?qū)嵗?br />
6.5.4基于Impala的查詢實(shí)踐

6.6大數(shù)據(jù)研究與發(fā)展方向

6.6.1數(shù)據(jù)的不確定性與數(shù)據(jù)質(zhì)量

6.6.2跨領(lǐng)域的數(shù)據(jù)處理方法的可移植性

6.6.3數(shù)據(jù)處理的時(shí)效性保證——內(nèi)存計(jì)算

6.6.4對(duì)于流式數(shù)據(jù)的實(shí)時(shí)處理

6.6.5大數(shù)據(jù)應(yīng)用

6.6.6大數(shù)據(jù)發(fā)展趨勢(shì)

習(xí)題

第7章實(shí)時(shí)醫(yī)療大數(shù)據(jù)分析案例

7.1案例背景與需求概述

7.1.1背景介紹

7.1.2基本需求

7.2設(shè)計(jì)方案

7.2.1ETL

7.2.2非格式化存儲(chǔ)

7.2.3流處理

7.2.4訓(xùn)練模型與結(jié)果預(yù)測(cè)

7.3環(huán)境準(zhǔn)備

7.3.1節(jié)點(diǎn)規(guī)劃

7.3.2軟件選型

7.4實(shí)現(xiàn)方法

7.4.1使用Kettle/Sqoop等ETL工具，將數(shù)據(jù)導(dǎo)入HDFS

7.4.2基于Spark Streaming開(kāi)發(fā)Kafka連接器組件

7.4.3基于Spark MLlib開(kāi)發(fā)數(shù)據(jù)挖掘組件

7.5不足與擴(kuò)展

習(xí)題

第8章保險(xiǎn)大數(shù)據(jù)分析案例

8.1案例背景與需求概述

8.1.1背景介紹

8.1.2基本需求

8.2設(shè)計(jì)方案

8.2.1基于GraphX的并行家譜挖掘算法

8.2.2基于分片技術(shù)的隨機(jī)森林算法

8.2.3基于內(nèi)存計(jì)算的FPGrowth關(guān)聯(lián)規(guī)則挖掘算法

8.3環(huán)境準(zhǔn)備

8.4實(shí)現(xiàn)方法

8.4.1基于GraphX的并行家譜挖掘

8.4.2基于分片技術(shù)的隨機(jī)森林模型用戶推薦

8.4.3基于FPGrowth關(guān)聯(lián)規(guī)則挖掘算法的回歸檢驗(yàn)

8.4.4結(jié)果可視化

8.5不足與擴(kuò)展

習(xí)題

第9章基于Spark聚類(lèi)算法的網(wǎng)絡(luò)流量異常檢測(cè)

9.1基本需求與數(shù)據(jù)說(shuō)明

9.1.1基本需求

9.1.2數(shù)據(jù)說(shuō)明

9.2設(shè)計(jì)方案

9.2.1聚類(lèi)問(wèn)題描述

9.2.2系統(tǒng)整體架構(gòu)和算法設(shè)計(jì)

9.2.3數(shù)據(jù)預(yù)處理

9.2.4聚類(lèi)算法

9.2.5聚類(lèi)質(zhì)量評(píng)估算法

9.2.6檢測(cè)算法

9.3實(shí)現(xiàn)方法和程序設(shè)計(jì)

9.3.1搭建Spark集群實(shí)驗(yàn)平臺(tái)

9.3.2程序運(yùn)行說(shuō)明

9.3.3數(shù)據(jù)預(yù)處理

9.3.4基于R的數(shù)據(jù)分析和可視化

9.3.5聚類(lèi)算法

9.3.6聚類(lèi)質(zhì)量評(píng)估

9.3.7異常檢測(cè)

9.4結(jié)果展示

9.4.1Spark平臺(tái)說(shuō)明與作業(yè)提交演示

9.4.2聚類(lèi)算法及其質(zhì)量評(píng)估

9.4.3有效性分析

9.4.4示例說(shuō)明

9.5展望

習(xí)題

第10章基于Hadoop的宏基因組序列比對(duì)計(jì)算

10.1相關(guān)背景介紹與基本需求

10.1.1相關(guān)背景

10.1.2基本需求

10.2設(shè)計(jì)方案

10.2.1串行程序分析

10.2.2并行程序設(shè)計(jì)

10.3實(shí)現(xiàn)方法

10.3.1自定義Hadoop Streaming Inputformat

10.3.2修改SOAPaligner程序的輸入文件函數(shù)

10.4環(huán)境建立和實(shí)驗(yàn)數(shù)據(jù)說(shuō)明

10.4.1案例環(huán)境

10.4.2實(shí)驗(yàn)數(shù)據(jù)

10.5結(jié)果展示

10.5.1測(cè)試方法

10.5.2測(cè)試結(jié)果和分析

習(xí)題

第11章基于細(xì)胞反應(yīng)大數(shù)據(jù)的生物效應(yīng)評(píng)估計(jì)算

11.1相關(guān)背景介紹與基本需求

11.1.1相關(guān)背景

11.1.2基本需求

11.2設(shè)計(jì)方案

11.2.1基本思路

11.2.2設(shè)計(jì)框架

11.3環(huán)境建立和實(shí)驗(yàn)數(shù)據(jù)說(shuō)明

11.3.1案例環(huán)境

11.3.2實(shí)驗(yàn)數(shù)據(jù)

11.4實(shí)現(xiàn)方法

11.4.1算法分析

11.4.2基因譜兩兩比對(duì)——富集積分矩陣并行化計(jì)算

11.4.3基因譜聚類(lèi)分析——KMedoids算法并行化

11.5結(jié)果展示

11.5.1基因譜兩兩比對(duì)——計(jì)算富集積分矩陣實(shí)驗(yàn)分析

11.5.2基因譜聚類(lèi)實(shí)驗(yàn)分析

習(xí)題

第12章基于Spark的海量宏基因組聚類(lèi)問(wèn)題分析計(jì)算

12.1相關(guān)背景介紹與基本需求

12.1.1相關(guān)背景

12.1.2基本需求

12.2問(wèn)題分析與設(shè)計(jì)方案

12.2.1問(wèn)題分析

12.2.2設(shè)計(jì)方案

12.3實(shí)現(xiàn)方法

12.3.1基于Spark的相似基因?qū)?wèn)題的實(shí)現(xiàn)

12.3.2利用LSH加速相似基因?qū)λ惴?br />
12.3.3基因圖的生成

12.3.4圖的基本性質(zhì)分析

12.3.5基因圖聚類(lèi)

12.4環(huán)境建立和實(shí)驗(yàn)數(shù)據(jù)說(shuō)明

12.4.1案例環(huán)境

12.4.2實(shí)驗(yàn)數(shù)據(jù)

12.5結(jié)果展示

12.5.1LSH方法精確度分析

12.5.2可擴(kuò)展性分析和加速效果分析

12.5.3基因圖頂點(diǎn)的度分布和連通性分析

12.5.4基因圖聚類(lèi)結(jié)果分析

12.5.5總結(jié)

習(xí)題

參考文獻(xiàn)