基于特征融合的图像分类问题研究

基于特征融合的图像分类问题研究 计思平 09软件

目录课题背景和研究意义图像分类流程概述特征融合策略实验结果分析总结与展望

课题背景和研究意义 输入图像分类系统输出图像分类问题定义

课题背景和研究意义 研究意义

课题背景和研究意义 难点和挑战

课题背景和研究意义 类内差异性类间相关性难点和挑战

图像分类过程概述 特征提取学习分类

图像分类过程概述 - Global low-level feature - Intermediate Semantic Representation - Intermediate Local Patch-Based Representation 特征提取

图像分类过程概述 Global Low-Level Feature 特征提取

图像分类过程概述 Intermediate Semantic Representation 特征提取

图像分类过程概述 Intermediate Local Patch-Based Representation 特征提取

图像分类过程概述 特征检测特征描述特征提取

图像分类过程概述 Bag of Visual Words 向量量化编码(vector quantization)

图像分类过程概述 SVM NN-Based Method Random Forest 学习分类

特征融合策略 不同特征区别于在不变性和判别能力间的取舍程度不同的图像数据集需要不同的取舍动机

特征融合策略 图像数据集本身具有类内差异性，类间相关性冲突适合数据集的最优取舍为：特征在类内具有不变性，在类间具有判别能力。动机

特征融合策略 Shape Feature or Color Feature ? Maybe we need both of them! 动机

特征融合策略 Classifier 1 Feature 1 Classifier 2 Feature 2 Ensemble Feature K Classifier K Decision-Level Fusion

特征融合策略 Feature 2 … Feature K Feature 1 降维 Reduced Feature Classifier Feature-Level Fusion

特征融合策略 L1-SVM Sparsity Feature Selection Feature-Level Fusion

特征融合策略 Kernel 1 Feature 1 Kernel 2 Feature 2 MKL Feature K Kernel K Kernel-Level Fusion

特征融合策略 Multiple Kernel Learning Kernel-Level Fusion

实验结果分析 数据集

实验结果分析 图像特征

实验结果分析 分类器

实验结果分析 Min-max Scale No Model Selection 预处理

实验结果分析 Scene Categories 分类效果

实验结果分析 Scene Categories – Heat Map Accuracy 81.64% 分类效果

实验结果分析 分类效果

实验结果分析 Performance of MKL

实验结果分析 时间效率

实验结果分析 Linear Scalability of L1-SVM

实验结果分析 其他结果

实验结果分析 学习金子塔权重对MKL分类效果的影响

结论与展望 特征融合可有效提高分类效果使用MKL的Kernel Level Fusion策略具有良好的分类效果，对单特征分类效果提升明显使用L1-SVM的Feature Level Fusion策略具有良好的时间效率，可扩展性好，适用于实时性强的应用结论

结论与展望 使用更多互补特征, 利用L1-SVM的线性可扩展性提高MKL时间效率，如使用Explicit Kernel Mapping 展望

谢谢！

基于特征融合的 图像分类问题研究