1.detectron2安装及微软最新state of the art目标检测模型DynamicHead训练自己数据全程指南
2.mmdetection框架和工程实践
3.coco编程是合成什么意思？
4.目标检测常用数据集格式
5.ResNet论文笔记及代码剖析
6.GroupSoftmax：利用COCO和CCTSDB训练83类检测器
detectron2安装及微软最新state of the art目标检测模型DynamicHead训练自己数据全程指南
首先，您需要从github.com/microsoft/Dy...仓库下载代码。源码s源
同时，码网下载并安装detectron2源码。合成
在Win系统中安装Detectron2时，源码s源有一些要点和避坑指南需要注意。码网c stl源码剖析
安装命令为：python setup.py build develop。合成
执行该命令可能会报错，源码s源提示找不到vc++ .0。码网这时，合成您需要在VS中安装C++组件。源码s源
接下来，码网需要安装依赖库，合成如torch、源码s源torchvision、码网pycocotools和fvcore等。
安装过程中，在Win上运行安装命令可能会遇到错误：nvcc.exe failed with exit status 1。
要解决此错误，需要修改detectron2\layers\csrc ms_rotated ms_rotated_cuda.cu代码前几行，将条件编译#ifdef WITH_CUDA和#ifdef WITH_HIP全部注释掉，只保留#include "box_iou_rotated/box_iou_rotated_utils.h"。
修改完成后，再次运行python setup.py build develop，并等待一段时间，就可以顺利编译并安装了。
DynamicHead训练代码原版不包含注册数据集的代码，需要修改train_net.py文件，将注册数据集的代码加入其中。修改后的完整代码如下所示。
请确保您的训练数据集符合coco格式，如果不是，需要编写代码将其转换为coco格式。
修改数据集路径的代码如下，其中coco文件夹是训练和验证集json文件所在路径，train_path和val_path是训练和验证集所在路径。
在以下代码中，需要修改数据集的类别信息和注册的训练验证集名字。
训练的脚本命令是：python train_net.py --config configs/dyhead_swint_atss_fpn_2x_ms.yaml --num-gpus 1。
命令中出现的configs文件夹中的yaml文件也需要修改，将其中的datasets修改为您代码中注册的数据集名字，并在代码中重写或覆盖选项。筹码稳定测试源码
运行上述训练脚本可能会遇到的问题及解决方案如下：
遇到"broken pipe"错误，即多进程数据加载错误，将加载进程数修改为1即可解决。
如果训练报错weights_decay是none，打印cfg查看哪些是none，发现weight_decay_bias是none，将weight_decay_bias设置为0而不是none即可成功训练。
Github上提供的预训练权重是在coco数据集上训练的，类别数与您的数据集不同，不能作为weights初始化。
最后，成功训练的图示。
mmdetection框架和工程实践
MMDetection框架详解与工程实践
1. 引入与安装
MMDetection是一个模块化的目标检测框架，通过组合不同组件构建自定义模型，支持多种算法和模型，具有高效和性能优势。它基于COCO 目标检测竞赛冠军团队的代码库，适用于Linux系统，Windows支持有限。
2. 框架结构与设计
框架采用模块化编程，便于重复使用和模块化搭建。__init__.py文件的使用和管理，如定义__all__属性，有助于代码复用和维护。设计模式如构造者模式和注册器模式，分别用于分离构建过程和简化对象创建过程，实现代码扩展性。
3. 配置与模型构建
配置文件详细描述了模型的参数设置，如Cascade RCNN的RPN和Fast R-CNN结构。mmdetection将模型细分为多个模块，如Backbone、Neck等，每个模块负责特定任务。配置文件的分析显示，不同IOU阈值在训练和推理阶段可能导致性能不匹配，Cascade RCNN通过多阶段结构解决此问题。
4. 推理与训练源码解析
测试代码如test.py展示了单GPU和多GPU测试过程，以及如何通过配置文件和模型进行检测。训练代码train.py则涉及模型构建、数据集注册和训练步骤。自定义数据集的回吐支撑指标源码构建包括数据读取、图像增强和COCO/VOC格式转换。
5. 实践技巧
如使用Kmeans聚类优化边界框，热力图绘制用于特征可视化，以及利用Visdom和Hook进行训练过程可视化。工程应用方面，C++与Python和TorchScript的交互提供了一种灵活的插件解决方案。
总结：
MMDetection框架通过模块化设计、丰富的算法支持和高效的执行，为用户提供了强大的目标检测工具。框架结构、配置管理和源码解析展示了如何构建、调整和优化模型。实践技巧部分提供了与C++交互和模型优化的实用方法，方便开发者在实际工程中灵活应用。
coco编程是什么意思？
COCO是指“Code Conversion Utility”，也就是代码转换工具，它是一个开放源代码的平台，具有良好的可扩展性。使用COCO，可以将不同语言之间的代码进行转换，例如C, C++, Java等等，同时还能生成可视化的文档。这个工具主要面向企业级编程人员，在软件开发、测试和维护等方面起到重要的辅助作用。
COCO还支持面向对象程序设计（OOP），并提供一套完整的库支持，包括数据处理、容器、图形界面、网络和多媒体等。OOP是一种面向对象的程序设计思想，将现实中的事物抽象成对象，而对象又组成了类，从而实现数据抽象、继承和封装等特性。COCO通过OOP实现了模块化、重用性和可维护性，让程序员更加高效地开发软件项目。
COCO的出现，大大简化了企业级软件开发的java商业源码仓库工作，帮助程序员提高了工作效率。它适用于各种编程语言之间的转换，既可以在Windows平台上使用，也可以在Linux等其他平台上使用。当然对于初学者来说，COCO还是有一定的上手难度，需要花费一定时间和精力去学习和掌握。但只要掌握了它的原理和使用方法，就可以大大提升编程的效率和质量。
目标检测常用数据集格式
我们常需利用标注工具如LabelImg、LabelMe等制作数据集，或使用开源数据集进行目标检测模型训练。这些数据集格式多样，不具一致性，目标检测数据格式又相对复杂。因此，为兼容框架和源码，我们通常需将自定义数据集转换为标准格式，如COCO格式和VOC格式，这两种格式因其知名度和解析库而广受欢迎。许多开源数据集都提供格式转换工具，而使用主流标注工具自行标注的数据集也已有许多成熟的开源转换代码。本文旨在介绍VOC和COCO数据集的格式，并说明如何组织数据集目录结构以方便转换。
PASCAL VOC数据集源自同名竞赛，始于年，结束于年。虽然不是特别大型的目标检测数据集，但在COCO诞生前，它是非常流行的目标检测任务基准数据集。主要数据集为VOC和VOC，它们的格式相同。以下以VOC为例进行说明。
根级目录下有5个目录：JPEGImages、Annotations、ImageSets、Layout和Action。JPEGImages目录存放所有，Annotations存放对应的XML标注文件，ImageSets文件夹下的txt文件用于数据集划分，Layout和Action文件夹分别按人体部位和动作类别分类。c 源码批量下载Segmentation文件夹存放分割数据集划分。对于通用目标检测任务，我们通常只需关注Main文件夹下的四个总体划分文件。
VOC数据集的标注格式中，最外层为annotation标签，包含图像所在文件夹、文件名、来源、图像尺寸等信息，以及多个object标签，每个标签包含一个目标对象的信息。
制作自定义VOC格式的数据集时，需构建三个文件夹：JPEGImages、Annotations和ImageSets/Main，其中Main文件夹存放train.txt、val.txt和test.txt等数据集划分文件。构建VOC格式数据集相对简单，因为LabelImg等工具生成的xml标注就是VOC格式所需的。
COCO数据集是微软构建的一个大型目标检测基准数据集，包括检测、分割、关键点估计等任务。本文以COCO数据集为例进行说明。COCO数据集的关键文件包括unlabeled、train、val、test和annotations文件夹。annotations文件夹包含各种类型的标注文件，如instances_train.json和instances_val.json。
COCO数据集的标注文件是json格式，包含info、licenses、images、categories和annotations五个部分。images部分包含信息，categories部分包含类别信息，annotations部分包含标注信息，如id、图像id、类别id、分割级别标注和边界框标注等。
构建COCO数据集时，只需生成子集文件夹和标注文件夹，标注文件夹每个json对应一个子集的标注。VOC和COCO格式也可以互相转换，转换代码可在Github上搜索。
YOLO格式虽然不常用，但其标注格式与VOC类似，为txt格式，每行包含一个目标框，空格分隔的数值代表目标框的位置和大小。
本文介绍了目标检测中常见的两种数据集格式，VOC和COCO，理解这些格式有助于使用目标检测源码和框架。
ResNet论文笔记及代码剖析
ResNet是何凯明等人在年提出的深度学习模型，荣获CVPR最佳论文奖，并在ILSVRC和COCO比赛上获得第一。该模型解决网络过深导致的梯度消失问题，并通过残差结构提升模型性能。
ResNet基于深度学习网络深度的增加，提出通过残差结构解决网络退化问题。关键点包括：将网络分解为两分支，一为残差映射，一为恒等映射，网络仅需学习残差映射，简化计算复杂度。残差结构可以使用多层全连接层或卷积层实现，且不增加参数量。升维方式采用全补0或1 x 1卷积，后者在实验中显示更好的性能。
ResNet网络结构由多个残差块组成，每个块包含一个或多个残差结构。VGG-网络基础上添加层形成plain-，其计算复杂度仅为VGG-的%。ResNet模型引入bottleneck结构，通过1 x 1卷积降维和升维实现高效计算。Res、Res、Res等模型采用bottleneck结构，第一个stage输入channel维度统一为，跨层连接后需调整维度匹配。
实验结果表明，ResNet解决了网络退化问题，Res模型在保持良好性能的同时，收敛速度更快。ResNet的性能优于VGGNet，尤其是在更深的网络结构下。使用Faster R-CNN检测时，将VGG-替换为ResNet-，发现显著提升。
在PyTorch官方代码实现中，ResNet模型包含五种基本形式，每种形式在不同阶段的卷积结构各有特点。以Res为例，其源码包含预训练模型和参数设置，每个stage的残差块数量根据模型不同而变化。关键点包括选择BasicBlock或Bottleneck作为网络结构基础，以及采用1 x 1卷积实现高效降维与升维。
GroupSoftmax：利用COCO和CCTSDB训练类检测器
在CV领域，工程师常利用YOLO、Faster RCNN、CenterNet等检测算法处理业务数据，旨在优化模型性能。然而，当模型在实际业务中发挥作用时，CEO的质疑往往紧随而来。为解决这一问题，我们设计了GroupSoftmax交叉熵损失函数，以解决模型训练的三大挑战。该函数允许类别合并，形成新的组合类别，从而在训练时计算出各类别对应梯度，完成网络权重更新。理论上，GroupSoftmax交叉熵损失函数兼容多种数据集联合训练。
我们利用了COCO和CCTSDB数据集，基于Faster RCNN算法（SyncBN），联合训练了一个包含类的检测器。在COCO_minival测试集上，使用GroupSoftmax交叉熵损失函数训练的模型在mAP指标上提升了0.7个点，达到.3，相比原始Softmax交叉熵损失函数，性能显著提升。此外，我们还训练了一个trident*模型，6个epoch在COCO_minival测试集上的mAP为.0，充分验证了GroupSoftmax交叉熵损失函数的有效性。
基于SimpleDet检测框架，我们实现了mxnet版本的GroupSoftmax交叉熵损失函数，并在GitHub上开源了源码。GroupSoftmax交叉熵损失函数的原理在于允许类别合并形成群组，计算群组类别概率的交叉熵损失，进而对激活值进行梯度计算。具体而言，当目标类别属于某个群组类别时，其梯度为群组类别梯度与子类别预测概率的比值。这样，GroupSoftmax交叉熵损失函数在处理类别合并情况时，能够有效更新网络权重。
实现GroupSoftmax交叉熵损失函数时，需要注意以下几点：
1. 对于未标注类别的数据集，可理解为与背景组成新的群组类别。
2. 在两阶段检测算法中，RPN网络应根据数据集特性调整为多分类，以适应模型训练需求。
3. 联合训练COCO和CCTSDB数据集时，最终分类任务为1+类，未标注类别的数据集可与背景组成组合类别。
4. 编写CUDA代码时，计算群组类别概率时，需加微小量避免分母为0导致的计算错误。
详解视频中动作识别模型与代码实践
摘要：本文详细解析视频动作识别的经典模型，并通过代码实践进行演示。视频动作识别涉及分析一段视频内容，判断其中的人物动作。与图像识别相比，视频分析需要考虑时间顺序和动作之间的关联性。由于视频分析的计算资源需求高，数据量庞大，并且需要处理时序因素，模型参数量也相应增加。然而，基于已有的图像模型，如ImageNet，可以有效应用于视频模型训练，提高训练效果。本文将介绍视频动作识别领域的经典模型，包括旧模型和新模型，并通过代码实现进行实践。
视频动作识别旨在解析视频内容，识别出人物所做的动作。这一领域相较于图像识别，不仅要分析静态，还要考虑序列间的时空关系。例如，仅凭一张无法确定某人扶门的意图是开门还是关门。
视频分析领域发展相对较晚，与图像分析领域相比，面临着更大的挑战。主要难点在于需要强大的计算资源来处理视频内容，视频转换为进行分析导致数据量庞大。此外，视频分析模型需考虑时间顺序，通过时间关系联系图像，进行判断，这增加了模型的复杂性和参数量。
得益于PASCAL VOC、ImageNet、MS COCO等数据集的公开，图像领域诞生了许多经典模型。视频动作识别领域同样存在经典模型，本案例将详细介绍这些模型，并通过代码实践进行演示。首先，本案例将准备所需源代码和数据，通过ModelArts SDK将资源下载并解压。
UCF-数据集将被选作为演示数据集，演示视频动作识别模型。接下来，我们将介绍视频动作识别的经典模型，从旧模型到新模型，逐步解析模型结构和工作原理。旧模型包括卷积网络+LSTM、3D卷积网络以及Two-Stream网络，新模型则引入了更有效的Two-Stream Inflated 3D ConvNets（I3D）模型，利用光流数据增强动作识别能力。
为了捕获图像间的时空关系，I3D模型结合了多种结构改进，如光流计算和时间序列分析，有效提升模型识别精度。通过代码实现，我们将分别实践C3D模型（3D卷积网络）和I3D模型（Two-Stream Inflated 3D ConvNets），并展示训练过程、模型结构和具体实现细节。
本案例将重点介绍C3D模型和I3D模型的结构与训练过程。C3D模型采用3D卷积网络处理视频，结合LSTM捕捉时间序列信息。I3D模型则在C3D基础上引入光流计算，增强模型对视频动作的识别能力。通过代码实践，读者将深入了解视频动作识别的经典模型和实际应用。
在代码实现部分，我们将详细展示如何准备数据、构建模型结构、训练和测试模型的过程。例如，对于C3D模型，我们将讲解数据预处理、构建模型、训练模型和评估模型的方法。对于I3D模型，我们将介绍模型结构、参数定义、数据处理和模型预测的实现方式。
通过本案例的代码实践，读者将能够亲自动手实现视频动作识别模型，理解模型原理，掌握模型训练与测试的关键步骤。这不仅有助于深入理解视频动作识别领域，还能为实际应用打下坚实的基础。
