皮皮网

1.fast rcnn Դ?源码?
2.目标检测算法（R-CNN，fastR-CNN，源码fasterR-CNN，源码yolo，源码SSD，源码yoloV2，源码asp后台管理源码yoloV3）
3.RFCN 精简讲解
4.捋一捋pytorch官方FasterRCNN代码

fast rcnn Դ?源码?

       在CNN网络中，我们常选择L2-loss而非L1-loss，源码原因在于L2-loss收敛速度更快。源码若涉及边框预测回归问题，源码通常可采用平方损失函数（L2损失），源码但L2范数的源码缺点是离群点对损失值影响显著。例如，源码假设真实值为1，源码预测次均约1，源码却有一次预测值为，此时损失值主要由异常值主导。为解决此问题，FastRCNN采用了平滑L1损失函数，高卖指标源码它在误差线性增长时表现更佳，而非平方增长。

       平滑L1损失函数与L1-loss的区别在于，L1-loss在0点处导数不唯一，可能影响收敛。而平滑L1损失通过在0点附近使用平方函数，使得其更加平滑。

       以下是三种损失函数的公式比较：

       L2 loss：

       公式：...

       L1 loss：

       公式：...

       Smooth L1 loss：

       公式：...

       Fast RCNN指出，与R-CNN和SPPnet中使用的L2损失相比，平滑L1损失对于离群点更加鲁棒，意味着其对异常值不敏感，梯度变化相对较小，在训练过程中不易出现偏离情况。

目标检测算法（R-CNN，fastR-CNN，fasterR-CNN，yolo，SSD，丫丫麻将源码yoloV2，yoloV3）

       深度学习已经广泛应用于各个领域，主要应用场景包括物体识别、目标检测和自然语言处理。目标检测是物体识别和物体定位的综合，不仅要识别物体的类别，还要获取物体在图像中的具体位置。目标检测算法的发展经历了多个阶段，从最初的R-CNN，到后来的Fast R-CNN、Faster R-CNN，再到yolo、SSD、yoloV2和yoloV3等。

       1. R-CNN算法：年，R-CNN算法被提出，它奠定了two-stage方式在目标检测领域的应用。R-CNN的挟持dll源码算法结构包括候选区域生成、区域特征提取和分类回归三个步骤。尽管R-CNN在准确率上取得了不错的成绩，但其速度慢，内存占用量大。

       2. Fast R-CNN算法：为了解决R-CNN的速度问题，微软在年提出了Fast R-CNN算法。它优化了候选区域生成和特征提取两个步骤，通过RoI池化层将不同大小的候选区域映射到固定大小的特征图上，从而提高了运算速度。

       3. Faster R-CNN算法：Faster R-CNN是R-CNN的升级版，它引入了RPN（区域生成网络）来生成候选区域，摆脱了选择性搜索算法，从而大大提高了候选区域的生成速度。此外，Faster R-CNN还采用了RoI池化层，将不同大小的候选区域映射到固定大小的特征图上，进一步提高了运算速度。

       4. YOLO算法：YOLO（You Only Look Once）算法是mplayer源码解析一种one-stage目标检测算法，它直接在输出层回归bounding box的位置和类别，从而实现one-stage。YOLO算法的网络结构包括卷积层、目标检测层和NMS筛选层。YOLO算法的优点是速度快，但准确率和漏检率不尽人意。

       5. SSD算法：SSD（Single Shot MultiBox Detector）算法结合了YOLO的速度和Faster R-CNN的准确率，它采用了多尺度特征图进行目标检测，从而提高了泛化能力。SSD算法的网络结构包括卷积层、目标检测层和NMS筛选层。

       6. yoloV2算法：yoloV2在yolo的基础上进行了优化和改进，它采用了DarkNet-作为网络结构，并引入了多尺度特征图进行目标检测。此外，yoloV2还采用了数据增强和新的损失函数，进一步提高了准确率。

       7. yoloV3算法：yoloV3是yoloV2的升级版，它采用了更深的网络结构，并引入了新的损失函数和数据增强策略。yoloV3在准确率和速度方面都有显著提升，是目前目标检测领域的主流算法之一。

       总之，目标检测算法的发展经历了多个阶段，从最初的R-CNN，到后来的Fast R-CNN、Faster R-CNN，再到yolo、SSD、yoloV2和yoloV3等。这些算法各有优缺点，需要根据实际需求进行选择。当前目标检测领域的主要难点包括提高准确率、提高速度和处理多尺度目标等。

RFCN 精简讲解

        之前的Faster RCNN对Fast RCNN产生region porposal的问题给出了解决方案，并且在RPN和Fast RCNN网络中实现了卷积层共享。

        但是这种共享仅仅停留在第一卷积部分，RoIpooling及之后的部分没有实现完全共享，可以当做是一种“部分共享”，这导致两个损失：1.信息损失，精度下降。2.由于后续网络部分不共享，导致重复计算全连接层等参数，时间代价过高。(另外还需要多说一句，全连接层计算量是要大于全卷积层的)

        因此RFCN（Region-based fully convolutional network）试图以Faster RCNN和FCN为基础进行改进。

        2.1问题

        第一个问题，如何改进不完全共享问题

        FCN（Fully convolutional network）针对不完全共享问题进行了改进，即：将一般的backbone网络中用于分类的全连接层替换为全卷积层，这样一来整个网络结构均是由卷积层构成，因而称为全卷积网络。

        第二个问题，目标检测的需求

        很显然，目标检测问题包括两个子问题：第一是确定物体种类，第二是确定物体位置，确定物体种类时我们希望保持位置不敏感性（translation invariance也就是说不管物体出现在哪个位置都能正确分类）以及保持位置敏感性（translation variance我们当然希望不论物体发生怎样的位置变化都能确定物体位置）

        这两个需求看起来比较矛盾，RFCN做出了一个折中，实际上也不算折中吧，就是这样一个问题：我们知道全卷积网络提取特征非常强，因此用于物体分类很nice，但是普通的卷积网络只关注特征，并不关注位置信息，不能直接用于检测。所以RFCN在FCN网络中引入了一个概念“position sensitive score map”位置敏感得分图，用来保证全卷积网络对物体位置的敏感性。

        先接着说结构的问题，在结构当中继续解释这个position sensitive

        2.2结构与流程

        下图描述了RFCN的结构，物体检测流程如下：

        原始图片经过conv卷积得到feature map1，其中一个subnetwork如同FastRCNN：使用RPN在featuremap1上滑动产生region proposal备用；另一个subnetwork则继续卷积，得到k^2(k=3)深度的featuremap2，根据RPN产生的RoI(region proposal)在这些featuremap2上进行池化和打分分类操作，得到最终的检测结果。

        下面这张figure3描述了一次成功的位置敏感性识别，figure3中间的九张featuremap实际上就是位置敏感结构图左侧的九层featuremap，每一层分别对应物体的一个感兴趣部位，就比如[2,2]这张图上中位置代表人体的头部。因而所有位置的响应经过一次池化都保存在figure3右侧3 3 (C+1)的对应位置了（原来是上中现在还是上中，原来是左下现在还是左下），如此位置敏感性得到保留。

        当poolingmap九个方框得分都超过一定阈值，我们可以相信这个region proposal中是存在物体的。

        下图figure4展示了一次失败的检测：由于红框内的poolingmap得分过低。

        三、总结

        上述为RFCN阅读后的笔记，可以看见RFCN的贡献在于：1.引入FCN达成更多的网络参数和特征共享（相比于Faster RCNN）2.解决全卷积网络关于位置敏感性的不足问题（使用position sensitive score map）

        其余结构与Faster RCNN相比没有很大的区别（保留RPN，共享第一层用于提取特征的con_Subnetwork）

        这篇论文是在没有深入了解过FCN的情况下读的，下一步先读一下FCN以及MaskRCNN那么two stage detecion method可以先告一段落了。

捋一捋pytorch官方FasterRCNN代码

       pytorch torchvision 模块集成了 FasterRCNN 和 MaskRCNN 代码，本文旨在帮助初学者理解 Two-Stage 检测的核心问题。首先，请确保您对 FasterRCNN 的原理有初步了解，否则推荐阅读上一篇文章。

       △ 代码结构

       作为 torchvision 中目标检测的基础类，GeneralizedRCNN 继承了 torch.nn.Module。FasterRCNN 和 MaskRCNN 都继承了 GeneralizedRCNN。

       △ GeneralizedRCNN

       GeneralizedRCNN 类继承自 nn.Module，具有四个关键接口：transform、backbone、rpn、roi_heads。

       △ transform

       transform 接口主要负责图像缩放，并记录原始图像尺寸。缩放图像是为了提高工程效率，防止内存溢出。理论上，FasterRCNN 可以处理任意大小的，但实际应用中，图像大小受限于内存。

       △ backbone + rpn + roi_heads

       完成图像缩放后，正式进入网络流程。这包括 backbone、rpn、roi_heads 等步骤。

       △ FasterRCNN

       FasterRCNN 继承自 GeneralizedRCNN，并实现其接口。transform、backbone、rpn、roi_heads 分别对应不同的功能。

       △ rpn 接口实现

       rpn 接口实现中，首先使用 AnchorGenerator 生成 anchor，然后通过 RPNHead 计算每个 anchor 的目标概率和偏移量。AnchorGenerator 生成的 anchor 分布在特征图上，其数量与输入图像的大小相关。

       △ 计算 anchor

       AnchorGenerator 通过计算每个特征图相对于输入图像的下采样倍数 stride，生成网格，并在网格上放置 anchor。每个位置的 anchor 数量为 个，包括 5 种 anchor size 和 3 种 aspect_ratios。

       △ 区分 feature_map

       FasterRCNN 使用 FPN 结构，因此需要区分多个 feature_map。在每个 feature_map 上设置 anchor 后，使用 RegionProposalNetwork 提取有目标的 proposals。

       △ 提取 proposals

       RegionProposalNetwork 通过计算有目标的 anchor 并进行框回归，生成 proposals。然后依照 objectness 置信度排序，并进行 NMS，生成最终的 boxes。

       △ 训练损失函数

       FasterRCNN 在训练阶段关注两个损失函数：loss_objectness 和 loss_rpn_box_reg。这两个损失函数分别针对 rpn 的目标概率和 bbox 回归进行优化。

       △ roi_pooling 操作

       在确定 proposals 所属的 feature_map 后，使用 MultiScaleRoIAlign 进行 roi_pooling 操作，提取特征并转为类别信息和进一步的框回归信息。

       △ 两阶段分类与回归

       TwoMLPHead 将特征转为 维，然后 FastRCNNPredictor 将每个 box 对应的特征转为类别概率和回归偏移量，实现最终的分类与回归。

       △ 总结

       带有 FPN 的 FasterRCNN 网络结构包含两大部分：特征提取与检测。FasterRCNN 在两处地方设置损失函数，分别针对 rpn 和 roi_heads。

       △ 关于训练

       在训练阶段，FasterRCNN 通过 RPN 和 RoIHeads 分别优化 anchor 和 proposals 的目标概率和 bbox 回归，实现目标检测任务。

       △ 写在最后

       本文简要介绍了 torchvision 中的 FasterRCNN 实现，并分析了关键知识点。鼓励入门新手多读代码，深入理解模型机制。尽管本文提供了代码理解的指引，真正的模型理解还需阅读和分析代码。