計算機視覺度量深入解析

第1章　圖像的獲取和表示　1
1．1 圖像傳感器技術　1
1．1．1 傳感器材料　2
1．1．2 傳感器光電二極管元件　3
1．1．3 傳感器配置：馬賽克、Faveon和BSI　3
1．1．4 動態(tài)范圍和噪聲　5
1．1．5 傳感器處理　5
1．1．6 去馬賽克　6
1．1．7 壞像素的校正　6
1．1．8 顏色和照明校正　6
1．1．9 幾何校正　7
1．2 攝像機和計算成像　7
1．2．1 計算成像概述　7
1．2．2 單像素的攝像頭計算　8
1．2．3 二維可計算攝像機　9
1．2．4 三維深度的攝像機系統(tǒng)　10
1．3 三維深度處理　21
1．3．1 方法概述　21
1．3．2 深度感知和處理中存在的問題　22
1．3．3 單目深度處理　27
1．4 三維表示：體元、深度圖、網(wǎng)格和點云　31
1．5 總結　32
第2章　圖像預處理　33
2．1 圖像處理概述　33
2．2 圖像預處理要解決的問題　34
2．2．1 計算機視覺的流程和圖像預處理　34
2．2．2 圖像校正　36
2．2．3 圖像增強　36
2．2．4 為特征提取準備圖像　37
2．3 圖像處理方法分類　41
2．3．1 點運算　42
2．3．2 直線運算　42
2．3．3 區(qū)域運算　42
2．3．4 算法　42
2．3．5 數(shù)據(jù)轉換　43
2．4 色度學　43
2．4．1 色彩管理系統(tǒng)概述　44
2．4．2 光源、白點、黑點和中性軸　44
2．4．3 設備色彩模型　45
2．4．4 顏色空間與色彩感知　45
2．4．5 色域映射與渲染目的　46
2．4．6 色彩增強的實際考慮　47
2．4．7 色彩的準確度與精度　48
2．5 空間濾波　48
2．5．1 卷積濾波與檢測　48
2．5．2 核濾波與形狀選擇　50
2．5．3 點濾波　51
2．5．4 噪聲與偽像濾波　52
2．5．5 積分圖與盒式濾波器　53
2．6 邊緣檢測器　54
2．6．1 核集合： Sobel， Scharr， Prewitt， Roberts， Kirsch， Robinson和Frei-Chen　54
2．6．2 Canny檢測器　55
2．7 變換濾波、Fourier變換及其他　56
2．7．1 Fourier變換　56
2．7．2 其他變換　58
2．8 形態(tài)學與分割　59
2．8．1 二值形態(tài)學　59
2．8．2 灰度和彩色形態(tài)學　61
2．8．3 形態(tài)學優(yōu)化和改進　61
2．8．4 歐氏距離映射　61
2．8．5 超像素分割　62
2．8．6 深度圖分割　63
2．8．7 色彩分割　64
2．9 閾值化　64
2．9．1 全局閾值化　65
2．9．2 局部閾值化　68
2．10 總結　69
第3章　全局特征和區(qū)域特征　70
3．1 視覺特征的歷史概述　70
3．1．1 核心思想：全局、區(qū)域和局部　71
3．1．2 紋理分析　73
3．1．3 統(tǒng)計方法　76
3．2 紋理區(qū)域度量　77
3．2．1 邊緣度量　77
3．2．2 互相關和自相關　79
3．2．3 Fourier頻譜、小波和基簽名　79
3．2．4 共生矩陣和Haralick特征　80
3．2．5 Laws紋理度量　89
3．2．6 LBP局部二值模式　90
3．2．7 動態(tài)紋理　91
3．3 統(tǒng)計區(qū)域度量　91
3．3．1 圖像矩特征　92
3．3．2 點度量特征　92
3．3．3 全局直方圖　94
3．3．4 局部區(qū)域直方圖　94
3．3．5 散點圖和3D直方圖　95
3．3．6 多分辨率和多尺度直方圖　97
3．3．7 徑向直方圖　98
3．3．8 輪廓或邊緣直方圖　99
3．4 基空間度量　99
3．4．1 Fourier描述　101
3．4．2 Walsh-Hadamard變換　102
3．4．3 HAAR變換　103
3．4．4 斜變換　103
3．4．5 Zernike多項式　103
3．4．6 導向濾波器　104
3．4．7 Karhunen-Loeve變換與Hotelling變換　104
3．4．8 小波變換和Gabor濾波器　105
3．4．9 Hough變換與Radon變換　106
3．5 總結　108
第4章　局部特征設計、分類和學習　109
4．1 局部特征　109
4．1．1 檢測器、興趣點、關鍵點、錨點、標注　110
4．1．2 描述子、特征描述、特征提取　110
4．1．3 稀疏局部模式方法　111
4．2 局部特征屬性　111
4．2．1 選擇特征描述子和興趣點　111
4．2．2 特征描述子和特征匹配　112
4．2．3 好特征的標準　112
4．2．4 可重復性，相對于困難的查找算容易　113
4．2．5 判別性與非判別性　114
4．2．6 相對和絕對位置　114
4．2．7 匹配代價和一致性　114
4．3 距離函數(shù)　115
4．3．1 關于距離函數(shù)的早期研究成果　115
4．3．2 歐氏或笛卡兒距離度量　116
4．3．3 網(wǎng)格距離度量　118
4．3．4 基于統(tǒng)計學的差異性度量　119
4．3．5 二值或布爾距離度量　120
4．4 描述子的表示　121
4．4．1 坐標空間和復數(shù)空間　121
4．4．2 笛卡兒坐標　121
4．4．3 極坐標和對數(shù)極坐標　121
4．4．4 徑向坐標　122
4．4．5 球面坐標　122
4．4．6 Gauge坐標　122
4．4．7 多元空間和多模數(shù)據(jù)　122
4．4．8 特征金字塔　123
4．5 描述子的密度　123
4．5．1 丟棄興趣點和描述子　124
4．5．2 稠密與稀疏特征描述　124
4．6 描述子形狀拓撲　125
4．6．1 關聯(lián)性模板　125
4．6．2 塊和形狀　125
4．6．3 對象多邊形　127
4．7 局部二值描述與點對模式　128
4．7．1 FREAK視網(wǎng)膜模式　129
4．7．2 Brisk 模式　130
4．7．3 ORB和BRIEF模式　131
4．8 描述子判別性　131
4．8．1 譜的判別性　132
4．8．2 區(qū)域、形狀和模式的判別性　133
4．8．3 幾何判別因素　133
4．8．4 通過特征可視化來評價判別性　134
4．8．5 精度與可跟蹤　136
4．8．6 精度優(yōu)化、子區(qū)域重疊、Gaussian權重和池化　138
4．8．7 亞像素精度　138
4．9 搜索策略與優(yōu)化　139
4．9．1 密集搜索　139
4．9．2 網(wǎng)格搜索　139
4．9．3 多尺度金字塔搜索　140
4．9．4 尺度空間和圖像金字塔　140
4．9．5 特征金字塔　142
4．9．6 稀疏預測搜索與跟蹤　142
4．9．7 跟蹤區(qū)域限制搜尋　143
4．9．8 分割限制搜索　143
4．9．9 深度或Z限制搜索　143
4．10 計算機視覺、模型和結構　144
4．10．1 特征空間　144
4．10．2 對象模型　145
4．10．3 約束　146
4．10．4 選擇檢測器和特征　146
4．10．5 訓練概述　147
4．10．6 特征和對象的分類　148
4．10．7 特征學習、稀疏編碼和卷積網(wǎng)絡　154
4．11 總結　158
第5章　特征描述屬性的分類學　159
5．1 特征描述子系列　160
5．2 計算機視覺分類學方面的早期研究成果　161
5．3 魯棒性和精度　161
5．4 通用的魯棒性分類學　162
5．4．1 光照　163
5．4．2 顏色準則　163
5．4．3 不完全性　164
5．4．4 分辨率和精度　164
5．4．5 幾何失真　165
5．4．6 效率變量、費用和效益　165
5．4．7 判別性和唯一性　165
5．5 通用的視覺度量分類學　166
5．5．1 特征描述子族　168
5．5．2 頻譜維度　168
5．5．3 頻譜類型　168
5．5．4 興趣點　171
5．5．5 存儲格式　171
5．5．6 數(shù)據(jù)類型　172
5．5．7 描述子內(nèi)存　172
5．5．8 特征形狀　173
5．5．9 特征模式　173
5．5．10 特征密度　174
5．5．11 特征搜索方法　174
5．5．12 模式對采樣　175
5．5．13 模式區(qū)域大小　176
5．5．14 距離函數(shù)　176
5．6 特征度量評估　177
5．6．1 效率變量、成本和效益　177
5．6．2 圖像重建的效率度量　178
5．6．3 特征度量評估舉例　178
5．7 總結　180
第6章　興趣點檢測與特征描述子研究　181
6．1 興趣點調(diào)整　181
6．2 興趣點概念　182
6．3 興趣點方法概述　184
6．3．1 Laplacian 和Gaussian -Laplacian　185
6．3．2 Moravac角點檢測器　185
6．3．3 Harris方法、Harris-Stephens、Shi-Tomasi以及Hessian類型的檢測器　186
6．3．4 Hessian矩陣檢測器和Hessian-Laplace　186
6．3．5 Gaussian差　187
6．3．6 顯著性區(qū)域　187
6．3．7 SUSAN、Trajkovic 以及 Hedly　187
6．3．8 Fast、Faster以及 AGHAST　188
6．3．9 局部曲率方法　189
6．3．10 形態(tài)興趣區(qū)域　189
6．4 特征描述子介紹　190
6．4．1 局部二值描述子　190
6．4．2 Census　197
6．4．3 BRIEF　198
6．4．4 ORB　199
6．4．5 BRISK　200
6．4．6 FREAK　201
6．5 譜描述子　202
6．5．1 SIFT　202
6．5．2 SIFT-PCA　206
6．5．3 SIFT-GLOH　207
6．5．4 改進的SIF-SIFER　207
6．5．5 SIFT CS-LBP改造　208
6．5．6 RootSIFT改造　208
6．5．7 CenSurE和STAR　209
6．5．8 相關模板　210
6．5．9 HAAR特征　212
6．5．10 使用類HAAR特征的Viola Jones算法　213
6．5．11 SURF　214
6．5．12 其他SURF算法　215
6．5．13 梯度直方圖及變種　216
6．5．14 PHOG和相關方法　217
6．5．15 Daisy和O-Daisy　218
6．5．16 CARD　219
6．5．17 具有魯棒性的快速特征匹配　221
6．5．18 RIFF和CHOG　222
6．5．19 鏈碼直方圖　223
6．5．20 D-NETS　224
6．5．21 局部梯度模式　225
6．5．22 局部相位量化　225
6．6 基空間描述子　226
6．6．1 傅里葉描述子　227
6．6．2 用其他基函數(shù)來構建描述子　228
6．6．3 稀疏編碼方法　228
6．7 多邊形形狀描述　229
6．7．1 MSER方法　229
6．7．2 針對斑點和多邊形的物體形狀度量　230
6．7．3 形狀上下文　233
6．8 3D、4D、體積以及多模態(tài)描述子　234
6．8．1 3D HOG　235
6．8．2 HON 4D　235
6．8．3 3D SIFT　236
6．9 總結　237
第7章　基準數(shù)據(jù)、內(nèi)容、度量和分析　238
7．1 什么是基準數(shù)據(jù)？　238
7．2 先前關于標注數(shù)據(jù)方面的研究：藝術與科學　240
7．2．1 質(zhì)量性能的一般度量　240
7．2．2 算法性能的衡量　241
7．2．3 Rosin關于角點方面的研究工作　242
7．3 構造基準數(shù)據(jù)的關鍵問題　243
7．3．1 內(nèi)容：采用、修改或創(chuàng)建　243
7．3．2 可用的基準數(shù)據(jù)介紹　243
7．3．3 使用數(shù)據(jù)擬合算法　244
7．3．4 場景構成和標記　245
7．4 定義目標和預期　247
7．4．1 Mikolajczyk和Schmid的方法學　247
7．4．2 開放式評價系統(tǒng)　248
7．4．3 極端情況和限制　248
7．4．4 興趣點和特征　248
7．5 基準數(shù)據(jù)的魯棒性準則　249
7．5．1 舉例說明魯棒性準則　249
7．5．2 將魯棒性準則用于實際應用　250
7．6 度量與基準數(shù)據(jù)的配對　252
7．6．1 興趣點、特征和基準數(shù)據(jù)的配對和優(yōu)化　252
7．6．2 一般的視覺分類學的例子　253
7．7 合成的特征字母表　254
7．7．1 合成數(shù)據(jù)集的目標　254
7．7．2 合成興趣點字母表　256
7．7．3 將合成字母表疊加到真實圖像上　258
7．8 總結　260
第8章　可視流程及優(yōu)化　261
8．1 階段、操作和資源　261
8．2 計算資源預算　263
8．2．1 計算單元、ALU和加速器　265
8．2．2 能耗的使用　266
8．2．3 內(nèi)存的利用　266
8．2．4 I O性能　269
8．3 計算機視覺流程的實例　270
8．3．1 汽車識別　270
8．3．2 人臉檢測、情感識別以及年齡識別　277
8．3．3 圖像分類　285
8．3．4 增強現(xiàn)實　289
8．4 可選的加速方案　294
8．4．1 內(nèi)存優(yōu)化　294
8．4．2 粗粒度并行　296
8．4．3 細粒度數(shù)據(jù)并行　297
8．4．4 高級指令集和加速器　300
8．5 計算機視覺算法的優(yōu)化與調(diào)整　301
8．5．1 編譯器優(yōu)化與手工優(yōu)化　301
8．5．2 特征描述子改造、檢測器和距離函數(shù)　302
8．5．3 Boxlets與卷積加速　303
8．5．4 數(shù)據(jù)類型優(yōu)化，整型與浮點型　303
8．6 優(yōu)化資源　304
8．7 總結　304
附錄A　合成特征分析　306
A．1 目標的背景與期望　307
A．2 測試方法和結果　309
A．3 合成字母基準圖像概述　311
A．4 測試1：合成興趣點字母檢測　313
A．5 測試2：合成角點字母檢測　323
A．6 測試3：疊加到真實圖像上的合成字母檢測　333
A．7 測試4：字母的旋轉不變性　333
A．8 結果分析和不可重復性異常　336
附錄B　基準數(shù)據(jù)集概述　339
附錄C　成像和計算機視覺資源　347
C．1 商業(yè)產(chǎn)品　347
C．2 開放源碼　348
C．3 組織、機構和標準　350
C．4 在線資源　351
附錄D　擴展SDM準則　353
譯后記　370
參考文獻　372