5/5/2020第九章图像分割·第九章图像分割。9.1图像分割算法分类？o9.2传统的基于CNN的分割方法缺点？o 9.3 FCN■9.3.1FCN改变了什么？■9.3.2FCN网络结构？·9.3.3全卷积网络举例？■9.2.4全连接层和卷积层如何相互转化？·9.2.5为什么传统CNN的输入图片是固定大小？·9.2.6把全连接层的权重W重塑成卷积层的滤波器有什么好处？■9.2.7反卷积层理解·9.2.8跳级(skip)结构·9.2.9模型训练■9.2.10FCN缺点9.3 U-Neto 9.4 SegNeto9.5空洞卷积(Dilated Convolutions)o 9.6 RefineNeto 9.7 PSPNet。9.8 DeepLab系列■9.8.1 DeepLabv1■9.8.2 DeepLabv:2■9.8.3 DeepLabv.3■9.8.4 DeepLabv3+9.9 Mask-R-CNN■9.9.1Mask-RCNN的网络结构示意图·9.9.2RCNN行人检测框架■9.9.3Mask-RCNN技术要点。9.10CNN在基于弱监督学习的图像分割中的应用■9.10.1 Scribble标记·9.10.2图像级别标记9.10.3 DeepLab+bounding box+image-level labels**■9.10.4统一的框架·9.10.5弱监督分割最新进展（贡献者：明奇-北京理工大学）。9.11 DenseNet(贡献者：黄钦建一华南理工大学)。9.12图像分割的常用数据集■9.12.1 PASCAL VOC■9.12.3 Cityscapes。9.13全景分割（贡献者：北京理工大学-明奇）第九章图像分割9.1图像分割算法分类？fle://home/shishuai/Deskto p/第九章图像分割.html1/365/5/2020第九章图像分割图像分割是预测图像中每一个像素所属的类别或者物体。基于深度学习的图像分割算法主要分为两类：1.语义分割为图像中的每个像素分配一个类别，如把画面中的所有物体都指出它们各自的类别。2.实例分割与语义分割不同，实例分割只对特定物体进行类别分配，这一点与目标检测有点相似，但目标检测输出的是边界框和类别，而实例分割输出的是掩膜(mask)和类别。Instance SegmentationGRASS,CAT,CATDOG.DOG,CATDOG,DOG,CATTREE,SKYNo objects,just pixelsSingle ObjectMultiple Object9.2传统的基于CNN的分割方法缺点？传统的基于CNN的分割方法：为了对一个像素分类，使用该像素周围的一个图像块作为CNN的输入，用于训练与预测，这种方法主要有几个缺点：1)存储开销大，例如，对每个像素使用1515的图像块，然后不断滑动窗口，将图像块输入到CNN中进行类别判断，因此，需要的存储空间随滑动窗口的次数和大小急剧上升；2)效率低下，相邻像素块基本上是重复的，针对每个像素块逐个计算卷积，这种计算有很大程度上的重复；3)像素块的大小限制了感受区域的大小，通常像素块的大小比整幅图像的大小小很多，只能提取一些局部特征，从而导致分类性能受到限制。而全卷积网络(FC)则是从抽象的特征中恢复出每个像素所属的类别。即从图像级别的分类进一步延伸到像素级别的分类。9.3 FCN9.3.1FCN改变了什么？对于一般的分类CNN网络，如VGG和Resnet,都会在网络的最后加入一些全连接层，经过softmax)后就可以获得类别概率信息。但是这个概率信息是1维的，即只能标识整个图片的类别，不能标识每个像素点的类别，所以这种全连接方法不适用于图像分割。而FCN提出可以把后面几fle://home/shishuai/Deskto p/第九章图像分割.html2/3655/2020第九章图像分割个全连接都换成卷积，这样就可以获得一张2维的feature map,后接softmax/层获得每个像素点的分类信息，从而解决了分割问题，如图4。“tabby cat"96convolutionalizationtabby cat heatmap2566图4##9.3.2FCN网络结构？FCN对图像进行像素级的分类，从而解决了语义级别的图像分割(semantic segmentation)问题。与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类（全联接层+softmax输出)不同，FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的feature mapi进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测，同时保留了原始输入图像中的空间信息，最后在上采样的特征图上进行逐像素分类。下图是语义分割所采用的全卷积网络(C)的结构示意图：forward/inferencebackward/learningpixelwise predictionsegmentation g.t.256969.3.3全卷积网络举例？通常cNN网络在卷积层之后会接上若干个全连接层，将卷积层产生的特征图((feature map)映射成一个固定长度的特征向量。以AlexNet为代表的经典CNN结构适合于图像级的分类和回归任务，因fle://home/shishuai/Deskto p/第九章图像分割.html3/36