JavaScript物聯(lián)網(wǎng)架構(gòu)與數(shù)據(jù)處理

目錄

本書贊譽

序一

序二

前言

第一篇　基礎(chǔ)篇

第1章　物聯(lián)網(wǎng)系統(tǒng)基礎(chǔ)  2

1.1　萬物互聯(lián)與互聯(lián)網(wǎng)進化論  3

1.2　物聯(lián)網(wǎng)的核心數(shù)據(jù)的流動  4

1.2.1　現(xiàn)代物聯(lián)網(wǎng)的對稱性  4

1.2.2　現(xiàn)代物聯(lián)網(wǎng)的IP化  4

1.3　端到端物聯(lián)網(wǎng)解決方案  5

1.3.1　JavaScript老樹新花  5

1.3.2　物聯(lián)網(wǎng)節(jié)點JavaScript開發(fā)  6

1.3.3　物聯(lián)網(wǎng)客戶端JavaScript開發(fā)  7

1.4　物聯(lián)網(wǎng)大數(shù)據(jù)的必然趨勢  9

1.5　物聯(lián)網(wǎng)機器學(xué)習(xí)的必然趨勢  11

1.6　本章小結(jié)  12

第2章　Node.js基礎(chǔ)  14

2.1　標(biāo)準(zhǔn)庫  14

2.1.1　簡單模塊定義和使用  15

2.1.2　標(biāo)準(zhǔn)庫API編程  16

2.1.3　標(biāo)準(zhǔn)庫console模塊  18

2.2　V8引擎  22

2.2.1　編譯執(zhí)行  23

2.2.2　垃圾回收  24

2.3　非阻塞式I/O  25

2.4　事件循環(huán)  27

2.5　包管理器NPM  30

2.5.1　包結(jié)構(gòu)  31

2.5.2　包管理  33

2.6　Node.js開發(fā)環(huán)境  34

2.7　微服務(wù)架構(gòu)  35

2.8　本章小結(jié)  37

第二篇　數(shù)據(jù)篇

第3章　基于JavaScript物聯(lián)網(wǎng)數(shù)據(jù)收集  40

3.1　嵌入式系統(tǒng)特點  40

3.1.1　高集成度  40

3.1.2　資源受限  41

3.1.3　長壽命  42

3.1.4　環(huán)境苛刻  42

3.2　實時數(shù)據(jù)收集  43

3.2.1　強實時任務(wù)  44

3.2.2　準(zhǔn)實時任務(wù)  44

3.2.3　弱實時任務(wù)與最終實時任務(wù)  45

3.2.4　時延、抖動與吞吐量  46

3.3　Node.js物聯(lián)網(wǎng)節(jié)點開發(fā)  49

3.3.1　內(nèi)存分配與優(yōu)化  50

3.3.2　延時測量與性能優(yōu)化  58

3.3.3　Node.js 跨語言調(diào)用  60

3.3.4　Node.js 物聯(lián)網(wǎng)通信協(xié)議開發(fā)  61

3.3.5　Node.js代碼遠程部署與更新  65

3.3.6　Node.js 服務(wù)發(fā)現(xiàn)  70

3.4　IoT.js物聯(lián)網(wǎng)節(jié)點開發(fā)  73

3.5　Espruino的物聯(lián)網(wǎng)節(jié)點開發(fā)  75

3.6　本章小結(jié)  76

第4章　基于JavaScript數(shù)據(jù)存儲與處理  77

4.1　大數(shù)據(jù)基礎(chǔ)  77

4.1.1　指數(shù)增長  77

4.1.2　水平擴展  79

4.1.3　MapReduce  80

4.1.4　高可用性  82

4.1.5　模式可復(fù)制  83

4.2　大數(shù)據(jù)實時處理  84

4.2.1　時間序列  84

4.2.2　Lambda架構(gòu)  85

4.2.3　JavaScript物聯(lián)網(wǎng)實時數(shù)據(jù)處理  88

4.3　Kafka大數(shù)據(jù)消息總線  89

4.3.1　消息總線  90

4.3.2　Kafka集群  91

4.3.3　數(shù)據(jù)存儲  95

4.3.4　高可用性  98

4.3.5　連接器  98

4.3.6　JavaScript Kafka 數(shù)據(jù)收發(fā)  100

4.3.7　Kafka即服務(wù)  101

4.4　Spark大數(shù)據(jù)處理平臺  104

4.4.1　HDFS  105

4.4.2　RDD  107

4.4.3　變換與動作  108

4.4.4　DAG調(diào)度器  110

4.4.5　數(shù)據(jù)幀  111

4.4.6　流處理  113

4.4.7　EclairJS JavaScript大數(shù)據(jù)處理  113

4.5　ElasticSearch大數(shù)據(jù)索引平臺  116

4.5.1　JSON文檔  117

4.5.2　模板與映射  118

4.5.3　確切值與全文文本  120

4.5.4　Lucene引擎與倒排索引  121

4.5.5　分片與副本  122

4.5.6　RESTful接口的JavaScript編程  122

4.6　本章小結(jié)  125

第5章　基于JavaScript物聯(lián)網(wǎng)數(shù)據(jù)分析  126

5.1　人工智能與機器學(xué)習(xí)  126

5.1.1　監(jiān)督學(xué)習(xí)  128

5.1.2　強化學(xué)習(xí)  134

5.2　深度學(xué)習(xí)  138

5.2.1　多層感知器網(wǎng)絡(luò)  139

5.2.2　卷積神經(jīng)網(wǎng)絡(luò)  145

5.2.3　遞歸神經(jīng)網(wǎng)絡(luò)  149

5.2.4　大規(guī)模深度學(xué)習(xí)  152

5.3　深度學(xué)習(xí)物聯(lián)網(wǎng)數(shù)據(jù)分析  155

5.3.1　基于卷積神經(jīng)網(wǎng)絡(luò)的物聯(lián)網(wǎng)視頻監(jiān)控物體識別  155

5.3.2　基于Q深度學(xué)習(xí)的物聯(lián)網(wǎng)掃地機器人  156

5.4　本章小結(jié)  158

第6章　基于JavaScript物聯(lián)網(wǎng)數(shù)據(jù)展示與交互  159

6.1　物聯(lián)網(wǎng)網(wǎng)頁應(yīng)用開發(fā)  159

6.1.1　HTML  160

6.1.2　CSS  165

6.1.3　本地數(shù)據(jù)存儲  170

6.1.4　AJAX  171

6.1.5　WebSocket  174

6.1.6　多媒體  176

6.1.7　數(shù)據(jù)可視化  179

6.2　Angular.js網(wǎng)頁應(yīng)用開發(fā)  186

6.2.1　單頁應(yīng)用  187

6.2.2　MVC設(shè)計模式  189

6.2.3　雙向綁定  191

6.2.4　依賴注入  192

6.2.5　URL路由  193

6.3　Ionic移動應(yīng)用開發(fā)  195

6.3.1　Cordova  196

6.3.2　UI組件  197

6.3.3　Ionic集成開發(fā)環(huán)境  199

6.3.4　物聯(lián)網(wǎng)單頁應(yīng)用程序  201

6.4　本章小結(jié)  205

第7章　基于JavaScript物聯(lián)網(wǎng)數(shù)據(jù)安全  206

7.1　物聯(lián)網(wǎng)的安全挑戰(zhàn)  206

7.1.1　未來已經(jīng)來臨  206

7.1.2　早期物聯(lián)網(wǎng)安全  207

7.1.3　現(xiàn)代物聯(lián)網(wǎng)安全  208

7.2　攻擊表面與安全防護  209

7.2.1　設(shè)備安全  210

7.2.2　網(wǎng)絡(luò)安全  211

7.2.3　數(shù)據(jù)安全  213

7.3　安全獵手與擊殺鏈  215

7.3.1　基于大數(shù)據(jù)的物聯(lián)網(wǎng)安全監(jiān)控系統(tǒng)設(shè)計  216

7.3.2　物聯(lián)網(wǎng)安全監(jiān)控系統(tǒng)擊殺實戰(zhàn)  219

7.4　JavaScript物聯(lián)網(wǎng)數(shù)據(jù)安全  221

7.4.1　JavaScript程序漏洞掃描  221

7.4.2　JavaScript網(wǎng)絡(luò)傳輸加密  222

7.4.3　JavaScript實現(xiàn)訪問控制  225

7.5　本章小結(jié)  227

第三篇　實戰(zhàn)篇

第8章　物聯(lián)網(wǎng)智能網(wǎng)關(guān)系統(tǒng)開發(fā)  230

8.1　物聯(lián)網(wǎng)智能網(wǎng)關(guān)  230

8.2　開源硬件OpenFPGAduino  231

8.2.1　開源硬件簡介  232

8.2.2　OpenFPGAduino硬件設(shè)計  234

8.2.3　OpenFPGAduino軟件設(shè)計  235

8.3　Node.js物聯(lián)網(wǎng)系統(tǒng)開發(fā)  236

8.3.1　Arduino.js網(wǎng)絡(luò)系統(tǒng)  237

8.3.2　Express HTTP服務(wù)  237

8.3.3　微服務(wù)架構(gòu)  238

8.3.4　數(shù)據(jù)庫微服務(wù)  242

8.3.5　服務(wù)發(fā)現(xiàn)  244

8.3.6　物聯(lián)網(wǎng)協(xié)議轉(zhuǎn)換  246

8.3.7　硬件訪問  248

8.3.8　硬件仿真  252

8.3.9　Mocha集成測試  254

8.4　FPGA實時性系統(tǒng)開發(fā)  256

8.4.1　FPGA簡介  256

8.4.2　Qsys總線  257

8.4.3　內(nèi)核空間驅(qū)動  259

8.4.4　用戶空間驅(qū)動  260

8.4.5　FPGA在線應(yīng)用配置  261

8.5　本章小結(jié)  262

第9章　物聯(lián)網(wǎng)云管理與開發(fā)環(huán)境  264

9.1　云計算與云服務(wù)  264

9.1.1　虛擬化  265

9.1.2　容器化  266

9.2　物聯(lián)網(wǎng)云服務(wù)  272

9.3　基于HTML的嵌入式軟件開發(fā)環(huán)境  274

9.4　基于Blockly的云軟件開發(fā)環(huán)境  275

9.5　基于Docker與云存儲的云開發(fā)編譯部署環(huán)境  280

9.6　基于Yeelink云的物聯(lián)網(wǎng)遠程管理與控制  285

9.7　基于Plot.ly數(shù)據(jù)可視化云服務(wù)    288

9.8　基于聽云物聯(lián)網(wǎng)運維服務(wù)  289

9.9　本章小結(jié)  291

第10章　物聯(lián)網(wǎng)生物芯片實驗測試系統(tǒng)  292

10.1　生物芯片測試平臺  292

10.2　生物芯片測試平臺總體設(shè)計  294

10.3　平臺電源與機箱系統(tǒng)設(shè)計  296

10.4　控溫控濕度平臺系統(tǒng)設(shè)計  298

10.5　實驗試劑注射進樣系統(tǒng)設(shè)計  302

10.6　高精度三軸移動定位系統(tǒng)設(shè)計  304

10.7　顯微鏡圖像監(jiān)控系統(tǒng)設(shè)計  309

10.8　物聯(lián)網(wǎng)實驗自動化控制系統(tǒng)設(shè)計  309

10.9　本章小結(jié)  312

第11章　物聯(lián)網(wǎng)大數(shù)據(jù)分析系統(tǒng)  313

11.1　物聯(lián)網(wǎng)大數(shù)據(jù)平臺  313

11.1.1　物聯(lián)網(wǎng)絡(luò)三層架構(gòu)  315

11.1.2　物聯(lián)網(wǎng)大數(shù)據(jù)信息處理平臺設(shè)計  316

11.2　物聯(lián)網(wǎng)數(shù)據(jù)匯聚  319

11.2.1　物聯(lián)網(wǎng)MQTT Kafka網(wǎng)橋  319

11.2.2　物聯(lián)網(wǎng)數(shù)據(jù)平面Kafka聚合網(wǎng)關(guān)管理  322

11.2.3　物聯(lián)網(wǎng)控制平面ZooKeeper節(jié)點管理  323

11.3　物聯(lián)網(wǎng)數(shù)據(jù)清洗  324

11.3.1　抽取變換加載  325

11.3.2　一致性檢查  326

11.3.3　重復(fù)數(shù)據(jù)去除  327

11.4　物聯(lián)網(wǎng)數(shù)據(jù)統(tǒng)計分析與機器學(xué)習(xí)  334

11.4.1　統(tǒng)計分析與機器學(xué)習(xí)  335

11.4.2　基于Spark批處理統(tǒng)計分析  335

11.4.3　基于Kappa架構(gòu)實時統(tǒng)計分析  336

11.4.4　在線機器學(xué)習(xí)  338

11.4.5　基于RLS的異常檢測  339

11.5　物聯(lián)網(wǎng)日志異常檢測與監(jiān)控系統(tǒng)設(shè)計  341

11.5.1　物聯(lián)網(wǎng)日志分析  341

11.5.2　LogStash日志收集與解析  342

11.5.3　ElasticSearch日志存儲與索引  344

11.5.4　Kibana日志可視化  344

11.5.5　日志異常檢測與告警  346

11.6　物聯(lián)網(wǎng)數(shù)據(jù)安全日志機器學(xué)習(xí)系統(tǒng)設(shè)計  350

11.6.1　攻擊指紋DGA  351

11.6.2　DGA應(yīng)用實例DNS隧道  353

11.6.3　自然語言處理   355

11.6.4　深度學(xué)習(xí)識別DGA  358

11.7　本章小結(jié)  364