细粒度tutorial

前言

整理自《Fine-Grained Image Analysis with Deep Learning》特邀讲师魏秀参教授

细粒度介绍

细粒度分析-Fine-Grained Image Analysis

计算机视觉中，细粒度分析是指对同一大类的物种进行进一步的分析，识别出该图片是哪一个子类。比如鸟是一个大类，但是鸟会有很多种，什么麻雀，燕子等等，细粒度做的就是要识别出是哪种鸟。

挑战：细粒度分析问题有其独有的挑战。

• 数据不平衡。有些种类其数据多，而有些种类在现实生活中出现的次数就少，这种就像二八定律，称为长尾分布。
• 类与类之间的差异小，一个类的图片差异大。与传统的图像分类--粗粒度分类的正好相反。

细粒度图像识别--Fine-grained image recognition

汇总常用方法。

Recognition by 'localization-classification subnetworks'

基于定位和分类的子网络的方法

主要解决如何定位部件，定位哪些部件。

有一些常用的方法：

• Employing detection or segmentation methods
• Utlizing deep filters
• Leveraging attention mechanisms
• Other representative methods

Recognition by 'end-to-end feature encoding'

主要通过获取更有信息的特征，来解决细粒度的问题

有一些常用的方法：

• Performing high-order feature interactions
• Designing specifc loss functions
• Other methods

Recognition with 'external information'

通过增加一些额外的信息来解决细粒度的问题

有一些常用的方法：

• Recognition with neural network data (先学习一些其他信息，这些信息作为辅助信息)
• Recognition by using multi-modality data (使用多模态数据，比如文本，视频)
• Recognition with humans-in-the-loop (在训练中，人为的对一些信息进行标记)

Fine-grained retrieval 细粒度图像检索

近年来比较火的一个方向/领域。

Content-based fine-grained image retrieval

基于内容的一个细粒度检索

比如有个图片数据库，然后输入一个待查询的图片，然后返回与该图片相似的图片。这个感觉是未来搜索引擎的一个发展方向，搜索引擎不应该只能用文字来搜索，可以用语音，图片等等进行搜索。

Sketch-based fine-grained image retrieval

基于轮廓的细粒度搜索

输入一个轮廓图，比如自己手画的物体的骨架图，然后在有真实物体的数据库哦中进行检索相似图片。