內(nèi)容分發(fā)網(wǎng)絡(luò)原理與實踐

作者序　2
目錄　2
第　一部分 CDN基本原理與關(guān)鍵技術(shù)　11
1　影響互聯(lián)網(wǎng)應(yīng)用質(zhì)量的關(guān)鍵　11
1．1　互聯(lián)網(wǎng)應(yīng)用發(fā)展　11
1．2　互聯(lián)網(wǎng)應(yīng)用質(zhì)量　12
1．2．1　質(zhì)量是互聯(lián)網(wǎng)應(yīng)用的生命　12
（1）　用戶對互聯(lián)網(wǎng)應(yīng)用質(zhì)量的期望　12
（2）　互聯(lián)網(wǎng)應(yīng)用質(zhì)量指標(biāo)--QoE　13
1．2．2　網(wǎng)絡(luò)性能是影響質(zhì)量的關(guān)鍵　14
（1）　網(wǎng)絡(luò)性能對互聯(lián)網(wǎng)應(yīng)用質(zhì)量的影響　14
（2）　網(wǎng)絡(luò)傳送性能指標(biāo)--QoS　17
1．3　提高互聯(lián)網(wǎng)應(yīng)用質(zhì)量的方法　18
1．3．1　集中式部署帶來的問題　18
1．3．2　利用網(wǎng)站鏡像加速　18
1．3．3　利用CDN進(jìn)行加速　19
（1）　互聯(lián)網(wǎng)2：8法則　19
（2）　CDN的加速作用　21
2　CDN基本原理　24
2．1　CDN的基本概念　24
2．1．1　CDN的定義　24
2．1．2　CDN可承載的內(nèi)容　24
2．2　CDN的工作過程　25
2．2．1　CDN的基本工作過程　25
2．2．2　CDN內(nèi)容接入　27
（1）　內(nèi)容存儲接入　28
（2）　內(nèi)容預(yù)注入　28
（3）　實時回源　28
2．2．3　CDN用戶請求調(diào)度　29
（1）　全局調(diào)度　29
（2）　本地調(diào)度　29
2．2．4　CDN內(nèi)容分發(fā)　30
（1）　Push方式　30
（2）　Pull方式　31
（3）　混合分發(fā)方式　31
2．2．5　CDN內(nèi)容服務(wù)　32
（1）　靜態(tài)內(nèi)容服務(wù)　32
（2）　動態(tài)內(nèi)容服務(wù)　33
3　典型的CDN架構(gòu)與組網(wǎng)　34
3．1　CDN功能平面　34
3．2　CDN內(nèi)部網(wǎng)元　35
（1）　內(nèi)容中心節(jié)點　35
（2）　區(qū)域節(jié)點　36
（3）　邊緣服務(wù)節(jié)點　36
（4）　全局內(nèi)容路由　36
（5）　運維管理　37
（6）　運營管理及適配　37
（7）　接口　37
3．3　CDN部署架構(gòu)　39
3．4　CDN間組網(wǎng)　40
4　CDN關(guān)鍵技術(shù)　43
4．1　統(tǒng)一內(nèi)容ID　44
4．1．1　統(tǒng)一資源定位符　44
4．1．2　CDN內(nèi)容統(tǒng)一ID　45
4．2　本地負(fù)載均衡（SLB）　45
4．2．1　負(fù)載均衡技術(shù)　45
4．2．2　負(fù)載均衡的技術(shù)分類　46
（1）　基于DNS的負(fù)載均衡　46
（2）　基于客戶端的負(fù)載均衡　46
（3）　基于OSI模型的負(fù)載均衡　47
4．2．3　負(fù)載均衡的算法　48
4．3　用戶請求路由調(diào)度（RR）/全局負(fù)載均衡（GSLB）　50
4．3．1　基于DNS的用戶調(diào)度　50
（1）　智能DNS技術(shù)　50
（2）　基于DNS重定向調(diào)度　53
（3）　策略的優(yōu)劣分析　54
4．3．2　基于 HTTP 的重定向　54
（1）　HTTP重定向基本原理　54
（2）　基于HTTP重定向調(diào)度　55
（3）　策略的優(yōu)劣分析　55
4．4　內(nèi)容緩存技術(shù)　56
4．4．1　緩存技術(shù)　56
4．4．2　緩存替換算法　57
4．5　流媒體技術(shù)　63
4．5．1　實時流媒體技術(shù)：RTSP　63
4．5．2　漸進(jìn)式下載流媒體技術(shù)：HTTP Streaming　65
4．5．3　自適應(yīng)流媒體技術(shù)　68
（1）　HTTP Live Streaming（HLS）　70
（2）　Smooth Streaming　70
（3）　HTTP Dynamic Streaming（HDS）　71
（4）　DASH　73
4．6　服務(wù)鑒權(quán)技術(shù)　76
4．6．1　常見的服務(wù)鑒權(quán)技術(shù)　76
4．6．2　CDN服務(wù)鑒權(quán)機制　77
5　CDN新技術(shù)介紹　80
5．1　前端優(yōu)化技術(shù)　80
5．2　動態(tài)加速技術(shù)　82
（1）　差異化緩存技術(shù)　82
（2）　傳輸加速技術(shù)　84
（3）　內(nèi)容生成加速技術(shù)　85
5．3　SDN調(diào)度技術(shù)　86
5．4　P2P流媒體技術(shù)　88
5．5　應(yīng)用協(xié)議加速技術(shù)　88
（1）　廣域網(wǎng)應(yīng)用加速　89
（2）　SSL應(yīng)用加速　89
（3）　HTTPS加速　89
5．6　智能協(xié)同技術(shù)　89
5．7　NVMe技術(shù)　90
第二部分　選擇合適的CDN提升業(yè)務(wù)質(zhì)量　92
6　CDN產(chǎn)業(yè)與市場發(fā)展　92
6．1　CDN產(chǎn)業(yè)發(fā)展　92
6．1．1　CDN產(chǎn)業(yè)的發(fā)展歷程　92
6．1．2　CDN服務(wù)提供商類型　93
6．1．3　CDN市場的發(fā)展特點　95
6．2　CDN發(fā)展趨勢　95
6．2．1　CDN業(yè)務(wù)發(fā)展趨勢　95
（1）　視頻成為最主要業(yè)務(wù)　96
（2）　增值業(yè)務(wù)快速增長　96
（3）　差異化訂制需求增長　97
6．2．2　CDN市場發(fā)展趨勢　98
（1）　行業(yè)競爭加大，資費逐年降低　98
（2）　客戶逐步自建，自建和租用結(jié)合　98
（3）　運營商紛紛切入CDN市場　99
6．2．3　CDN網(wǎng)絡(luò)發(fā)展趨勢　100
（1）　CDN融合承載　100
（2）　CDN與云結(jié)合　101
（3）　CDN網(wǎng)絡(luò)協(xié)同　104
6．3　CDN服務(wù)商面臨的挑戰(zhàn)　104
6．3．1　不可忽視的安全因素　105
6．3．2　大數(shù)據(jù)流量的利用　105
6．3．3　推進(jìn)統(tǒng)一的技術(shù)標(biāo)準(zhǔn)　105
6．3．4　定制化的技術(shù)創(chuàng)新要求　105
7　選擇合適的CDN　107
7．1　租用CDN vs 自建CDN　107
7．1．1　業(yè)務(wù)需求　107
7．1．2　CDN與成本分析　107
（1）　帶寬成本　107
（2）　建設(shè)和維護(hù)成本　107
7．1．3　CDN租用與自建結(jié)合　108
7．2　租用CDN的選擇　109
7．2．1　CDN服務(wù)類型與功能　110
7．2．2　CDN容量與分布　110
7．2．3　CDN運營維護(hù)　110
7．2．4　CDN價格　111
7．2．5　多CDN租用　112
7．3　自建CDN的選擇要素　112
7．3．1　開源CDN軟件 vs商業(yè)CDN軟件　113
7．3．2　業(yè)務(wù)需求變化　113
7．3．3　開發(fā)和維護(hù)能力　114
8　租用CDN實施的考慮與評估　115
8．1　CDN需求確認(rèn)　115
8．2　CDN測試驗證　118
8．2．1　CDN服務(wù)切換　118
8．2．2　CDN服務(wù)質(zhì)量測試　119
（1）　響應(yīng)時間　120
（2）　節(jié)點性能　121
（3）　服務(wù)錯誤率　122
（4）　應(yīng)用層性能　122
8．3　CDN服務(wù)監(jiān)控　123
（1）　設(shè)備監(jiān)控　123
（2）　服務(wù)監(jiān)控　125
8．4　多CDN租用調(diào)度　125
8．4．1　多CDN租用調(diào)度系統(tǒng)(TMS)　126
8．4．2　服務(wù)調(diào)度流程　128
9　自建CDN實施的考慮與評估　130
9．1　自建CDN案例分析　130
9．2　自建CDN中的開源軟件介紹　132
9．2．1　緩存系統(tǒng)　133
9．2．2　內(nèi)容管理系統(tǒng)　133
9．2．3　內(nèi)容路由系統(tǒng)　134
9．2．4　監(jiān)控系統(tǒng)　135
9．3　自建CDN部署　136
9．4　自建CDN技術(shù)指標(biāo)　137
9．4．1　命中率　137
9．4．2　吞吐量　138
9．4．3　并發(fā)值　139
9．4．4　響應(yīng)時間　140
9．4．5　MDI　141
9．4．6　MOS　142
9．4．7　穩(wěn)定性和可靠性　143
第三部分　利用開源軟件設(shè)計自有CDN　144
10　開源CDN架構(gòu)設(shè)計　144
10．1　業(yè)務(wù)需求分析　144
10．2　本書開源CDN總體架構(gòu)　145
10．3　CDN網(wǎng)絡(luò)規(guī)劃　147
11　流服務(wù)緩存節(jié)點模塊的設(shè)計　148
11．1　流服務(wù)緩存節(jié)點的特性　148
11．2　流服務(wù)緩存節(jié)點開源軟件簡介　148
11．2．1　Squid簡介　148
11．2．2　Quagga簡介　149
11．2．3　LVS簡介　150
11．2．4　Keepalived簡介　150
11．2．5　Nginx簡介　150
11．2．6　Lua簡介　150
11．3　模塊設(shè)計　151
11．3．1　代理緩存（Squid）　151
11．3．2　四層負(fù)載均衡（OSPF+LVS+Keepalived）　152
11．3．3　七層負(fù)載均衡（Nginx+Lua）　153
11．4　環(huán)境配置　153
11．4．1　Squid安裝與配置　153
11．4．2　Ospf安裝與配置　157
11．4．3　LVS安裝　159
11．4．4　Keepalived安裝與配置　160
11．4．5　Nginx安裝與配置　163
11．4．6　lua-nginx-module模塊安裝　164
12　內(nèi)容庫模塊的設(shè)計　167
12．1　內(nèi)容庫的特性　167
12．2　內(nèi)容庫開源軟件簡介　167
12．2．1　FTP簡介　167
12．2．2　Ceph簡介　167
12．3　模塊設(shè)計　169
12．3．1　內(nèi)容注入（FTP）　169
12．3．2　分布式內(nèi)容存儲（Ceph）　169
12．3．3　內(nèi)容分發(fā)（Nginx）　170
12．4　環(huán)境配置　170
12．4．1　FTP服務(wù)器搭建　170
12．4．2　Ceph安裝與配置　171
12．4．3　Nginx安裝與配置　175
13　全局用戶請求調(diào)度模塊的設(shè)計　176
13．1　基于DNS的流量管理服務(wù)設(shè)計　176
13．1．1　基于DNS流量管理的開源軟件簡介　176
（1）　Bind　176
（2）　Mysql數(shù)據(jù)庫　176
13．1．2　模塊設(shè)計　177
13．1．3　環(huán)境配置　177
13．2　基于HTTP的應(yīng)用層調(diào)度服務(wù)設(shè)計　180
13．2．1　基于HTTP調(diào)度的開源軟件簡介　180
13．2．2　模塊設(shè)計　180
13．2．3　環(huán)境配置　181
14　網(wǎng)絡(luò)管理模塊的設(shè)計　183
14．1　網(wǎng)絡(luò)管理工作流程　183
14．2　網(wǎng)絡(luò)管理開源軟件簡介　184
14．2．1　Zabbix簡介　184
14．2．2　InfluxDB簡介　186
14．2．3　Grafana簡介　188
14．3　模塊設(shè)計　188
14．3．1　數(shù)據(jù)采集（Zabbix）　188
14．3．2　數(shù)據(jù)存儲（InfluxDB）　189
14．3．3　數(shù)據(jù)展示（Grafana）　189
14．4　環(huán)境配置　189
14．4．1　Zabbix安裝與配置　189
14．4．2　InfluxDB安裝與配置　192
14．4．3　Grafana安裝與配置　195
15　基于開源的自建CDN測試驗證　197
15．2　系統(tǒng)測試　197
15．2．1　測試目的　197
15．2．2　測試方法　198
15．2．3　測試拓?fù)浣M網(wǎng)　200
15．2．4　測試內(nèi)容　201
15．2．5　測試過程　202
15．2　現(xiàn)網(wǎng)測試　208
15．2．1　測試目的　208
15．2．2　測試方法　208
15．2．3　測試過程　209
參考文獻(xiàn)　214