Unity跨平臺音視頻通信從入門到應(yīng)用

第1章 Unity音視頻通信 1
1.1 引言 1
1.2 發(fā)展歷程 1
1.3 技術(shù)應(yīng)用 2
1.3.1 應(yīng)用場景 2
1.3.2 應(yīng)用需求 2
1.4 本章總結(jié) 3
第2章 Unity軟件基礎(chǔ) 4
2.1 引言 4
2.2 軟件介紹 4
2.2.1 簡介 4
2.2.2 Unity版本 5
2.2.3 Unity Hub簡介 5
2.3 界面介紹 8
2.3.1 菜單欄 8
2.3.2 導(dǎo)航欄 9
2.3.3 工作區(qū) 10
2.4 窗口介紹 10
2.4.1 Project窗口 10
2.4.2 Hierarchy窗口 12
2.4.3 Inspector窗口 13
2.4.4 Scene窗口 14
2.4.5 Game窗口 15
2.5 項目創(chuàng)建 16
2.5.1 創(chuàng)建新項目 16
2.5.2 添加項目 17
2.6 物體、組件 17
2.6.1 常用的物體 17
2.6.2 常用的組件 18
2.7 腳本 18
2.7.1 腳本創(chuàng)建 18
2.7.2 生命周期 19
2.7.3 變量與函數(shù) 21
2.7.4 計算與賦值 21
2.8 資源包管理 22
2.8.1 資源包導(dǎo)入 22
2.8.2 資源包導(dǎo)出 23
2.9 構(gòu)建設(shè)置 24
2.10 本章總結(jié) 25
第3章 3D數(shù)學(xué)與著色器基礎(chǔ) 26
3.1 引言 26
3.2 3D數(shù)學(xué)坐標(biāo)系 26
3.2.1 全局坐標(biāo)系 26
3.2.2 局部坐標(biāo)系 27
3.2.3 屏幕坐標(biāo)系 27
3.2.4 視口坐標(biāo)系 27
3.2.5 坐標(biāo)系轉(zhuǎn)換 27
3.3 向量 28
3.3.1 向量介紹 28
3.3.2 Vector類 29
3.4 著色器基礎(chǔ) 29
3.4.1 認(rèn)識表面著色器 30
3.4.2 表面著色器的應(yīng)用示例 33
3.4.3 計算著色器 36
3.4.4 計算著色器灰度圖的應(yīng)用示例 39
3.4.5 計算著色器圖片像素顯示處理的應(yīng)用示例 41
3.5 本章總結(jié) 44
第4章 多媒體音頻技術(shù) 45
4.1 引言 45
4.2 音頻介紹 45
4.2.1 音頻設(shè)備 45
4.2.2 音頻源組件 46
4.2.3 音頻權(quán)限 48
4.3 音頻多通道 49
4.3.1 多通道介紹 49
4.3.2 Unity多通道 49
4.4 音頻采樣 51
4.4.1 采樣率與采樣大小 51
4.4.2 Unity音頻采樣處理 51
4.5 音頻數(shù)字化 52
4.5.1 數(shù)字音頻 52
4.5.2 音頻質(zhì)量 53
4.5.3 Unity音頻數(shù)字化 53
4.6 本章總結(jié) 56
第5章 多媒體視頻技術(shù) 57
5.1 引言 57
5.2 視頻設(shè)備與權(quán)限 57
5.2.1 視頻設(shè)備 57
5.2.2 視頻權(quán)限 58
5.3 圖像捕捉與視頻捕捉 59
5.3.1 圖像捕捉 59
5.3.2 視頻捕捉 61
5.4 圖像數(shù)字化 64
5.4.1 圖像及視頻種類 64
5.4.2 Unity圖像的數(shù)字化處理 65
5.5 圖像和視頻壓縮技術(shù) 69
5.5.1 圖像壓縮 70
5.5.2 視頻壓縮 71
5.6 本章總結(jié) 72
第6章 Unity網(wǎng)絡(luò)通信基礎(chǔ) 73
6.1 引言 73
6.2 Unity通信API 73
6.2.1 通信API簡介 73
6.2.2 簡單的HTTP通信 73
6.3 TCP通信 75
6.3.1 TCP介紹 75
6.3.2 TCP通信原理 76
6.3.3 Unity中基于Socket的高性能TCP通信實(shí)現(xiàn)——服務(wù)器端 78
6.3.4 Unity中基于Socket的高性能TCP通信實(shí)現(xiàn)——客戶端 102
6.4 UDP通信 117
6.4.1 UDP介紹 117
6.4.2 UDP通信原理 118
6.4.3 Unity中基于Socket的高性能UDP通信實(shí)現(xiàn) 119
6.5 本章總結(jié) 129
第7章 跨平臺音視頻通信核心 130
7.1 引言 130
7.2 音頻處理 130
7.2.1 音頻發(fā)送 130
7.2.2 音頻接收 137
7.3 圖像處理 142
7.3.1 圖像發(fā)送 142
7.3.2 圖像接收 146
7.4 本章總結(jié) 149
第8章 桌面平臺音視頻通信實(shí)現(xiàn) 150
8.1 引言 150
8.2 構(gòu)建設(shè)置 150
8.2.1 開發(fā)平臺 150
8.2.2 Player設(shè)置 152
8.3 項目建立 157
8.3.1 場景搭建 157
8.3.2 組件設(shè)置 158
8.3.3 測試發(fā)布 160
8.3.4 測試運(yùn)行 160
8.4 本章總結(jié) 161
第9章 Android平臺音視頻通信實(shí)現(xiàn) 162
9.1 引言 162
9.2 構(gòu)建設(shè)置 162
9.2.1 開發(fā)平臺 162
9.2.2 Player 設(shè)置 164
9.3 項目建立 174
9.3.1 場景搭建與貼圖壓縮 174
9.3.2 組件設(shè)置 197
9.3.3 測試發(fā)布 197
9.3.4 測試運(yùn)行 198
9.4 本章總結(jié) 198
第10章 XR平臺音視頻通信實(shí)現(xiàn) 199
10.1 引言 199
10.2 HoloLens介紹 199
10.2.1 硬件介紹 199
10.2.2 平臺介紹 201
10.3 MRTK介紹 201
10.3.1 MRTK簡介 201
10.3.2 MRTK應(yīng)用 205
10.4 構(gòu)建設(shè)置 209
10.4.1 開發(fā)平臺 209
10.4.2 Player 設(shè)置 211
10.5 項目建立 217
10.5.1 場景搭建與貼圖壓縮 217
10.5.2 組件設(shè)置 242
10.5.3 測試發(fā)布 243
10.5.4 測試運(yùn)行 247
10.6 本章總結(jié) 248