圖像工程 下冊：圖像理解（第5版）

第1章緒論
1．1圖像工程的發(fā)展
1．1．1基本概念和定義
概括
1．1．2圖像工程發(fā)展情況
回顧
1．2圖像理解及相關(guān)學(xué)科
1．2．1圖像理解
1．2．2計(jì)算機(jī)視覺
1．2．3其他相關(guān)學(xué)科
1．2．4圖像理解的應(yīng)用領(lǐng)域
1．3圖像理解理論框架
1．3．1馬爾視覺計(jì)算理論
1．3．2對馬爾理論框架的
改進(jìn)
1．3．3關(guān)于馬爾重建理論
的討論
1．3．4新理論框架的研究
1．3．5從心理認(rèn)知出發(fā)的
討論
1．4深度學(xué)習(xí)簡介
1．4．1圖像理解中的深度
學(xué)習(xí)
1．4．2卷積神經(jīng)網(wǎng)絡(luò)的基本
概念
1．4．3深度學(xué)習(xí)核心技術(shù)
1．4．4深度學(xué)習(xí)的應(yīng)用
1．5內(nèi)容框架和特點(diǎn)
總結(jié)和復(fù)習(xí)*
隨堂測試*
第1單元采 集 表 達(dá)
第2章攝像機(jī)成像和標(biāo)定
2．1視覺過程
2．2亮度成像模型
2．2．1光度學(xué)和光源
2．2．2從亮度到照度
2．3空間成像模型
2．3．1基本攝像機(jī)模型
2．3．2近似投影模式
2．3．3一般攝像機(jī)模型
2．3．4透鏡畸變
2．3．5通用成像模型
2．4攝像機(jī)標(biāo)定
2．4．1標(biāo)定方法分類
2．4．2標(biāo)定程序和參數(shù)
2．4．3兩級標(biāo)定法
2．4．4精度提升
2．5在線攝像機(jī)外參數(shù)標(biāo)定
方法
2．5．1車道線檢測與數(shù)據(jù)
篩選
2．5．2優(yōu)化重投影誤差
2．6自標(biāo)定方法
2．7結(jié)構(gòu)光主動(dòng)視覺系統(tǒng)的
標(biāo)定
2．7．1投影模型和標(biāo)定
2．7．2圖案分離
2．7．3計(jì)算單應(yīng)性矩陣
2．7．4計(jì)算標(biāo)定參數(shù)
總結(jié)和復(fù)習(xí)*
隨堂測試*
第3章壓縮感知與成像
3．1壓縮感知概述
3．2稀疏表達(dá)
3．3測量矩陣及特性
3．3．1采樣/測量模型
3．3．2測量矩陣特性
3．4解碼重構(gòu)
3．4．1重構(gòu)原理
3．4．2測量矩陣的校準(zhǔn)
3．4．3典型重構(gòu)算法
3．4．4基于深度學(xué)習(xí)的重構(gòu)
算法
3．5稀疏編碼與字典學(xué)習(xí)
3．5．1字典學(xué)習(xí)與矩陣
分解
3．5．2非負(fù)矩陣分解
3．5．3端元提取
3．5．4稀疏編碼
3．6壓縮感知的成像應(yīng)用
3．6．1單像素相機(jī)
3．6．2壓縮感知磁共振
成像
總結(jié)和復(fù)習(xí)*
隨堂測試*
第4章深度信息采集
4．1高維圖像和成像方式
4．1．1高維圖像種類
4．1．2本征圖像和非本征
圖像
4．1．3深度成像方式
4．2雙目成像模式
4．2．1雙目橫向模式
4．2．2雙目會(huì)聚橫向模式
4．2．3雙目軸向模式
4．3深度圖像直接采集
4．3．1飛行時(shí)間法
4．3．2結(jié)構(gòu)光法
4．3．3莫爾等高條紋法
4．3．4深度和亮度圖像同時(shí)
采集
4．4顯微鏡3D分層成像
4．4．1景深和焦距
4．4．2顯微鏡3D成像
4．4．3共聚焦顯微鏡3D
成像
4．5等基線多攝像機(jī)組
4．5．1圖像采集
4．5．2圖像合并方法
4．6單攝像機(jī)多鏡反射折射
系統(tǒng)
4．6．1總體系統(tǒng)結(jié)構(gòu)
4．6．2成像和標(biāo)定模型
總結(jié)和復(fù)習(xí)*
隨堂測試*
第5章3D景物表達(dá)
5．1曲線和曲面的局部特征
5．1．1曲線局部特征
5．1．2曲面局部特征
5．23D表面表達(dá)
5．2．1參數(shù)表達(dá)
5．2．2表面朝向表達(dá)
5．3等值面的構(gòu)造和表達(dá)
5．3．1行進(jìn)立方體算法
5．3．2覆蓋算法
5．3．3兩種算法比較
5．4從并行輪廓插值3D表面
5．53D實(shí)體表達(dá)
5．5．1基本表達(dá)方案
5．5．2廣義圓柱體表達(dá)
總結(jié)和復(fù)習(xí)*
隨堂測試*
第2單元景 物 重 建
第6章雙目立體視覺
6．1立體視覺模塊
6．2基于區(qū)域的雙目立體匹配
6．2．1模板匹配
6．2．2立體匹配
6．3基于特征的雙目立體匹配
6．3．1基本步驟
6．3．2尺度不變特征
變換
6．3．3加速魯棒性特征
6．3．4動(dòng)態(tài)規(guī)劃匹配
6．4基于深度學(xué)習(xí)的立體匹配
6．4．1方法分類
6．4．2立體匹配網(wǎng)絡(luò)
6．4．3基于特征級聯(lián)CNN的
匹配
6．5視差圖誤差檢測與校正
總結(jié)和復(fù)習(xí)*
隨堂測試*
第7章多目立體視覺
7．1水平多目立體匹配
7．1．1水平多目圖像
7．1．2倒距離
7．2正交三目立體匹配
7．2．1基本原理
7．2．2基于梯度分類的正交
匹配
7．3多目立體匹配
7．3．1任意排列三目立體
匹配
7．3．2正交多目立體匹配
7．4亞像素級視差
7．4．1統(tǒng)計(jì)分布模型
7．4．2亞像素級視差計(jì)算
總結(jié)和復(fù)習(xí)*
隨堂測試*
第8章單目多圖像景物恢復(fù)
8．1單目景物恢復(fù)
8．2光度立體法
8．2．1景物亮度和圖像
亮度
8．2．2表面反射特性和
亮度
8．2．3景物表面朝向
8．2．4反射圖和亮度約束
方程
8．2．5光度立體法求解
8．3光度立體法進(jìn)展
8．3．1光源標(biāo)定
8．3．2非朗伯表面反射
模型
8．3．3彩色光度立體法
8．3．43D重建方法
8．4基于GAN的光度立體法
標(biāo)定
8．4．1網(wǎng)絡(luò)結(jié)構(gòu)
8．4．2損失函數(shù)
8．5從運(yùn)動(dòng)求取結(jié)構(gòu)
8．5．1光流和運(yùn)動(dòng)場
8．5．2光流方程求解
8．5．3光流與表面取向
8．5．4光流與相對深度
8．6從分割剪影恢復(fù)形狀
總結(jié)和復(fù)習(xí)*
隨堂測試*
第9章單目單圖像景物恢復(fù)
9．1單幅圖像深度估計(jì)
9．1．1有監(jiān)督學(xué)習(xí)方法
9．1．2無監(jiān)督學(xué)習(xí)方法
9．1．3半監(jiān)督學(xué)習(xí)方法
9．2從影調(diào)恢復(fù)形狀
9．2．1影調(diào)與形狀
9．2．2亮度方程求解
9．3混合表面透視投影下的
SFS
9．3．1改進(jìn)的Ward反射
模型
9．3．2透視投影下的圖像亮度
約束方程
9．3．3圖像亮度約束方程
求解
9．3．4基于BlinnPhong反射
模型
9．3．5新圖像亮度約束方程
求解
9．4紋理與表面朝向
9．4．1單目成像和畸變
9．4．2由紋理變化恢復(fù)
朝向
9．4．3檢測線段紋理消
失點(diǎn)
9．4．4確定圖像外消
失點(diǎn)
9．5由焦距確定深度
9．6根據(jù)三點(diǎn)透視估計(jì)位姿
總結(jié)和復(fù)習(xí)*
隨堂測試*
第3單元場 景 解 釋
第10章知識表達(dá)和推理
10．1知識概述
10．2場景知識
10．2．1模型
10．2．2屬性超圖
10．2．3基于知識的
建模
10．3過程知識
10．4知識表達(dá)
10．4．1知識表達(dá)要求
10．4．2知識表達(dá)類型
10．4．3基本知識表達(dá)
方案
10．4．4人工智能中的知識
表達(dá)
10．4．5圖像理解系統(tǒng)中的
知識模塊
10．5邏輯系統(tǒng)
10．5．1謂詞演算規(guī)則
10．5．2利用定理證明
推理
10．5．3推理方法分類
10．6語義網(wǎng)
10．7產(chǎn)生式系統(tǒng)
總結(jié)和復(fù)習(xí)*
隨堂測試*
第11章廣義匹配
11．1匹配概述
11．1．1匹配策略和
類別
11．1．2匹配和配準(zhǔn)
11．1．3匹配評價(jià)
11．2目標(biāo)匹配
11．2．1對應(yīng)點(diǎn)匹配
11．2．2字符串匹配
11．2．3慣量等效橢圓
匹配
11．2．4形狀矩陣匹配
11．2．5結(jié)構(gòu)匹配和
量度
11．3動(dòng)態(tài)模式匹配
11．4關(guān)系匹配
11．5圖同構(gòu)匹配
11．5．1圖論簡介
11．5．2圖同構(gòu)和匹配
11．6線條圖標(biāo)記和解釋
11．6．1輪廓標(biāo)記
11．6．2結(jié)構(gòu)推理
11．6．3回溯標(biāo)記
11．7借助匹配實(shí)現(xiàn)配準(zhǔn)
11．7．1基于特征匹配的異構(gòu)
遙感圖像配準(zhǔn)
11．7．2基于空間關(guān)系推理的
圖像匹配
11．8多模態(tài)圖像匹配
11．8．1基于區(qū)域的
技術(shù)
11．8．2基于特征的
技術(shù)
總結(jié)和復(fù)習(xí)*
隨堂測試*
第12章場景分析和語義解釋
12．1場景理解概述
12．2模糊推理
12．2．1模糊集合和模糊
運(yùn)算
12．2．2模糊推理方法
12．3遺傳算法圖像解釋
12．3．1遺傳算法原理
12．3．2語義分割和
解釋
12．4場景目標(biāo)標(biāo)記
12．5場景分類
12．5．1詞袋/特征包
模型
12．5．2pLSA模型
12．5．3LDA模型
12．6遙感圖像判讀
12．6．1遙感圖像判讀方法
分類
12．6．2遙感圖像判讀知識
圖譜
12．7混合增強(qiáng)視覺認(rèn)知
12．7．1從計(jì)算機(jī)視覺感
知到計(jì)算機(jī)視覺
認(rèn)知
12．7．2混合增強(qiáng)視覺認(rèn)知
相關(guān)技術(shù)
總結(jié)和復(fù)習(xí)*
隨堂測試*
第4單元研 究 示 例
第13章同時(shí)定位和制圖
13．1SLAM概況
13．1．1激光SLAM
13．1．2視覺SLAM
13．1．3對比和結(jié)合
13．2激光SLAM算法
13．2．1Gmapping算法
13．2．2Cartographer
算法
13．2．3LOAM算法
13．3視覺SLAM算法
13．3．1ORBSLAM系列
算法
13．3．2LSDSLAM
算法
13．3．3SVO算法
13．4群體機(jī)器人和群體
SLAM
13．4．1群體機(jī)器人的
特性
13．4．2群體SLAM要解決
的問題
13．5SLAM的新動(dòng)向
13．5．1SLAM與深度學(xué)習(xí)
的結(jié)合
13．5．2SLAM與多智能體
的結(jié)合
總結(jié)和復(fù)習(xí)*
隨堂測試*
第14章多傳感器圖像信息融合
14．1信息融合概述
14．2圖像融合
14．2．1圖像融合的主要
步驟
14．2．2圖像融合的三個(gè)
層次
14．2．3圖像融合效果
評價(jià)
14．3像素級融合方法
14．3．1基本融合方法
14．3．2融合方法的
結(jié)合
14．3．3小波融合時(shí)的最佳
分解層數(shù)
14．3．4壓縮感知圖像
融合
14．3．5像素級融合
示例
14．4雙能透射和康普頓背散射
融合
14．4．1成像技術(shù)的互補(bǔ)性
分析
14．4．2互補(bǔ)融合
14．5高光譜圖像空間光譜特征
提取
14．5．1傳統(tǒng)高光譜特征
提取方法
14．5．2基于深度學(xué)習(xí)的
空間光譜特征
提取方法
14．6特征級和決策級融合
方法
14．6．1貝葉斯法
14．6．2證據(jù)推理法
14．6．3粗糙集理論法
14．7多源遙感圖像融合
14．7．19種多源遙感數(shù)
據(jù)源
14．7．2多源遙感圖像融合
文獻(xiàn)
14．7．3遙感圖像的空間光譜
融合
14．7．4基于深度循環(huán)殘差
網(wǎng)絡(luò)的融合
總結(jié)和復(fù)習(xí)*
隨堂測試*
第15章基于內(nèi)容的圖像和視頻
檢索
15．1圖像和視頻檢索原理
15．2視覺特征的匹配和檢索
15．2．1顏色特征匹配
15．2．2紋理特征計(jì)算
15．2．3多尺度形狀
特征
15．2．4綜合特征檢索
15．3基于運(yùn)動(dòng)特征的視頻
檢索
15．3．1全局運(yùn)動(dòng)特征
15．3．2局部運(yùn)動(dòng)特征
15．4基于分層匹配追蹤的
檢索
15．4．1檢索框圖
15．4．2單層圖像特征
提取
15．4．3多層特征提取和
圖像檢索
15．4．4結(jié)合顏色直
方圖
15．5視頻節(jié)目分析和索引
15．5．1新聞視頻結(jié)
構(gòu)化
15．5．2體育比賽視頻
排序
15．5．3家庭錄像視頻
組織
15．6語義分類檢索
15．6．1基于視覺關(guān)鍵詞的
圖像分類
15．6．2高層語義與
氣氛
15．7基于深度學(xué)習(xí)的跨模態(tài)
檢索
15．7．1跨模態(tài)檢索技術(shù)
分類
15．7．2圖像標(biāo)題自動(dòng)
生成
15．8圖像檢索中的哈希
15．8．1有監(jiān)督哈希
15．8．2非對稱監(jiān)督深度離散
哈希
15．8．3跨模態(tài)圖像檢索中的
哈希
總結(jié)和復(fù)習(xí)*
隨堂測試*
第16章時(shí)空行為理解
16．1時(shí)空技術(shù)
16．2時(shí)空興趣點(diǎn)
16．3動(dòng)態(tài)軌跡學(xué)習(xí)和分析
16．3．1自動(dòng)場景建模
16．3．2學(xué)習(xí)路徑
16．3．3自動(dòng)活動(dòng)分析
16．4動(dòng)作分類和識別
16．4．1動(dòng)作分類
16．4．2動(dòng)作識別
16．5結(jié)合姿態(tài)和上下文的動(dòng)作
分類
16．5．1基于姿態(tài)模型的動(dòng)作
分類器
16．5．2基于上下文的動(dòng)作分
類器
16．6活動(dòng)和行為建模
16．6．1動(dòng)作建模
16．6．2活動(dòng)建模和
識別
16．7主體與動(dòng)作聯(lián)合建模
16．7．1單標(biāo)簽主體動(dòng)作
識別
16．7．2多標(biāo)簽主體動(dòng)作
識別
16．7．3主體動(dòng)作語義
分割
16．8基于關(guān)節(jié)點(diǎn)的行為識別
16．8．1使用CNN作為
主干
16．8．2使用RNN作為
主干
16．8．3使用GCN作為
主干
16．8．4使用混合網(wǎng)絡(luò)作為
主干
16．9異常事件檢測
16．9．1異常事件檢測方法
分類
16．9．2基于卷積自編碼器塊
學(xué)習(xí)的檢測
16．9．3基于單類神經(jīng)網(wǎng)絡(luò)的
檢測
總結(jié)和復(fù)習(xí)*
隨堂測試*
附錄A視覺和視知覺
A．1視知覺概述
A．2視覺特性
A．2．1視覺的空間特性
A．2．2視覺的時(shí)間特性
A．2．3視覺的亮度特性
A．3形狀知覺
A．3．1圖形和背景
A．3．2輪廓和主觀輪廓
A．3．3幾何圖形錯(cuò)覺
A．4空間知覺
A．4．1兩種空間知覺觀
A．4．2非視覺性深度
線索
A．4．3雙目深度線索
A．4．4單目深度線索
A．5運(yùn)動(dòng)知覺
A．6生物視覺與立體視覺
A．6．1生物視覺和雙目
視覺
A．6．2從單目到雙目
立體
主題索引
部分思考題和練習(xí)題解答*
參考文獻(xiàn)*