视觉模式识别中的表示与分类方法研究

摘要i

ABSTRACT iii 目录vii 缩略语表xi

第一章绪论1

1.1本文的研究意义与目的 (1)

1.2视觉模式识别的表示与分类方法研究现状 (3)

1.2.1视觉模式识别中的表示方法 (3)

1.2.2视觉模式识别中的分类方法 (13)

1.3本文的主要创新成果与章节安排 (18)

第二章场景构型表示的七巧板模型研究23

2.1引言 (23)

2.2背景与相关工作 (27)

2.2.1图像场景模式的表示与分类 (27)

2.2.2基于随机语法和与或图的视觉知识表达 (29)

2.3七巧板模型的建构 (32)

2.3.1基元字典 (32)

2.3.2七巧板基元的与或图结构 (34)

2.3.3基于可重构解析树的空间构型量化和表达 (38)

2.4基于七巧板模型的构型模板与场景表示 (40)

2.4.1基于七巧板模型的场景构型模板 (40)

—vii—

上海交通大学博士学位论文视觉模式识别中的表示与分类方法研究

2.4.2七巧板基元的视觉表观特征模型 (41)

2.4.3基于产生式的构型模板建模 (41)

2.4.4场景图像的构型属性表示 (43)

2.5场景构型模板的学习方法 (44)

2.5.1基于信息增益最大化的动态规划算法 (44)

2.5.2基于样例聚类算法的多个构型模板学习 (47)

2.6实验结果与分析 (48)

2.6.1场景图像数据集 (48)

2.6.2实验设置 (51)

2.6.3基于构型类级别的场景模式分类 (53)

2.6.4基于语义类级别的场景模式分类 (57)

2.7本章小结 (60)

第三章基于空间合并的视觉模式表示研究61

3.1引言 (61)

3.2背景与相关工作 (63)

3.2.1基于特征编码与空间合并的图像分类系统 (63)

3.2.2基于上下文空间合并的视觉显著性检测 (65)

3.3基于层次化空间合并与偏最小二乘分析的图像分类系统 (68)

3.3.1基于层次化感受野结构的空间合并方法 (68)

3.3.2基于偏最小二乘分析的图像表示 (74)

3.3.3实验结果与分析 (76)

3.4基于子块上下文空间合并的物体显著性检测 (85)

3.4.1基于子块的上下文空间合并方法 (85)

3.4.2实验结果与分析 (86)

3.5本章小结 (90)

第四章基于匹配核的视觉模式分类研究93

4.1引言 (93)

—viii—

上海交通大学博士学位论文目录

4.2背景与相关工作 (95)

4.2.1基于核SVM的判别式分类 (95)

4.2.2金字塔匹配核 (97)

4.3基于七巧板匹配核的图像场景分类 (100)

4.3.1七巧板匹配核的建构 (100)

4.3.2实验结果与分析 (104)

4.4基于推广时空金字塔匹配核的视频中人体行为分类 (107)

4.4.1推广时空金字塔匹配核的建构 (107)

4.4.2实验结果与分析 (110)

4.5本章小结 (117)

第五章总结与展望119

5.1全文工作总结 (119)

5.2未来工作展望 (120)

参考文献123致谢151在学期间的研究成果及发表的论文153

—ix—

缩略语表

AOG And-Or Graph与或图

AP Average Precision平均精确度

BOW Bag-of-Words词袋

B-CSP Block-wise Contextual Spatial Pooling子块上下文空间合并CRF Conditional Random Fields条件随机场

CSP Contextual Spatial Pooling上下文空间合并

DAG Direct Acyclic Graph有向无环图

DFS Depth First Search深度优先搜索

DP Dynamic Programming动态规划

FLD Fisher’s Linear Discrimination Fisher线性判别

fTgm Flat Tangram Template平坦七巧板模板GPMK Generalized Spatial-Temporal Pyramid Matching Kernel推广时空金字塔匹配核HRFD Hierarchical Receptive Field Dictionary层次化感受野字典HIK Histogram Intersection Kernel直方图交叉核

HMM Hidden Markov Models隐马尔科夫模型

HOF Histogram of Optical Flow光流方向直方图

HOG Histogram of Oriented Gradient梯度方向直方图

HSP Hierarchical Spatial Pooling层次化空间合并

HVS Human Visual System人类视觉系统

KNN K Nearest Neighbors K近邻

LDA Latent Dirichlet Allocation隐狄利克雷分配

LLC Locality-constrained Linear Coding局部性约束线性编码LR Logistic Regression Logistic回归

LSAQ Localized Soft-Assignment Coding局部软分配编码LSVM Latent Support Vector Machine隐支撑向量机

MBH Motion Boundary Histogram运动边界直方图

MRF Markov Random Fields马尔科夫随机场mTgm Multi-Layer Tangram Template多层七巧板模板

—xi—