1.YOLOX目标检测实战：LabVIEW+YOLOX ONNX模型实现推理检测（含源码）
2.ONNX-Runtime一本通：综述&使用&源码分析（持续更新）
3.onnxruntime源码学习-编译与调试 (公网&内网)
4.一图看懂ONNX模型格式
5.ncnn和pnnx和onnx
6.onn是源码什么意思

YOLOX目标检测实战：LabVIEW+YOLOX ONNX模型实现推理检测（含源码）

       LabVIEW实现YOLOX目标检测

       本文将介绍如何利用LabVIEW进行YOLOX目标检测的实战操作。YOLOX是源码由旷视科技开源的高性能实时目标检测网络，通过将解耦头、源码数据增强、源码无锚点及标签分类等领域的源码优秀进展与YOLO进行集成，实现了超越YOLOv3、源码百万英雄系统源码YOLOv4和YOLOv5的源码性能，并保持了极高的源码推理速度。本文将主要关注如何在LabVIEW中部署YOLOX的源码ONNX模型进行推理。

       一、源码环境搭建

       部署环境：所需环境包括LabVIEW软件，源码以及YOLOX ONNX模型。源码

       LabVIEW工具包：安装LabVIEW ONNX工具包，源码以实现与ONNX模型的源码交互。

       二、源码模型的获取与转化

       方式一：直接下载ONNX模型。访问GitHub仓库获取YOLOX的ONNX模型，链接如下：github.com/Megvii-BaseD...

       方式二：将训练好的模型pth转换为ONNX。通过下载YOLOX源码、安装库、从基准表下载预训练模型，然后使用特定指令将pth模型转换为ONNX格式。具体步骤如下：

        1. 安装YOLOX：在YOLOX-main文件夹中执行命令行指令。

        2. 安装pycocotools。

        3. 下载预训练模型：使用指定链接下载模型文件至特定路径。

        4. 将模型pth转换为ONNX：执行相关命令。

       三、LabVIEW实现YOLOX ONNX推理检测

       加载模型：将转换后的ONNX模型放置至LabVIEW项目中的model文件夹内，配置LabVIEW程序加载模型。

       目标检测实现：使用LabVIEW ONNX工具包中的Create_Session.vi加载模型，并选择CPU、CUDA或TensorRT进行推理加速。通过查看模型结构、加载模型及实现目标检测，最终输出检测结果。

       四、源码及模型下载

       链接：访问百度网盘下载相关源码与模型，链接如下：pan.baidu.com/s/1FMRH1F...

       总结：本文详细介绍了在LabVIEW中实现YOLOX目标检测的全过程，包括环境搭建、模型获取与转化、LabVIEW实现推理检测以及源码下载。mvn 上传源码希望对读者在LabVIEW与人工智能技术应用方面有所帮助。如有疑问或讨论，欢迎在评论区留言，同时也欢迎加入技术交流群。

ONNX-Runtime一本通：综述&使用&源码分析（持续更新）

       ONNX-Runtime详解：架构概览、实践与源码解析

       ONNX-Runtime作为异构模型运行框架，其核心机制是先对原始ONNX模型进行硬件无关的图优化，之后根据支持的硬件选择相应的算子库，将模型分解为子模型并发在各个平台执行。它提供同步模式的计算支持，暂不包括异步模式。ORT（onnx-runtime缩写）是主要组件，包含了图优化（graph transformer）、执行提供者（EP）等关键模块。

       EP是执行提供者，它封装了硬件特有的内存管理和算子库，可能只支持部分ONNX算子，但ORT的CPU默认支持所有。ORT统一定义了tensor，但EP可有自定义，需提供转换接口。每个推理会话的run接口支持多线程，要求kernel的compute函数是并发友好的。

       ORT具有后向兼容性，能运行旧版本ONNX模型，并支持跨平台运行，包括Windows、Linux、macOS、iOS和Android。安装和性能优化是实际应用中的重要步骤。

       源码分析深入到ORT的核心模块，如框架（内存管理、tensor定义等）、图结构（构建、排序与修改）、优化器（包括RewriteRule和GraphTransformer），以及平台相关的功能如线程管理、文件操作等。Session是qt 源码qframework推理流程的管理核心，构造函数初始化模型和线程池，load负责模型反序列化，initialize则进行图优化和准备工作。

       ORT中的执行提供者（EP）包括自定义实现和第三方库支持，如TensorRT、CoreML和SNPE。其中，ORT与CoreML和TensorRT的集成通过在线编译，将ONNX模型传递给这些框架进行计算。ORT通过统一的接口管理元框架之上的算子库，但是否支持异构运算（如SNPE与CPU库的混合）仍有待探讨。

       总结来说，ONNX-Runtime处理多种模型格式，包括原始ONNX和优化过的ORT模型，以适应多平台和多设备需求。它通过复杂的架构和优化技术，构建了可扩展且高效的推理软件栈，展示了flatbuffer在性能和体积方面的优势。

       附录：深入探讨ORT源码编译过程的细节。

onnxruntime源码学习-编译与调试 (公网&内网)

       在深入学习ONNX Runtime的过程中，我决定从1.版本开始，以对比与理解多卡并行技术。为此，我选择了通过`./tools/ci_build/build.py`脚本进行编译，而不是直接执行`build.sh`，因为后者并不直接提供所需的参数。在`build.py:::parse_arguments()`函数中，我找到了可选择的参数，例如运行硬件（CPU/GPU）、调试模式（Debug/Release）以及是否并行编译。我特别使用了`--skip_submodule_sync`，以避免因与公网不通而手动下载“submodule”，即`./cmake/external`文件夹下的依赖组件。这样可以节省每次编译时检查依赖组件更新的时间，提高编译效率。同时，我使用`which nvcc`命令来确定`cuda_home`和`cudnn_home`的值。

       我的编译环境配置为gcc8.5.0、cuda.7和cmake3..1，其中cmake版本需要不低于3.，recv函数源码gcc版本则至少为7.0，否则编译过程中会出现错误。在编译环境的配置中，可以通过设置PATH和LD_LIBRARY_PATH来指定可执行程序和动态库的路径。对于手动下载“submodule”的不便，可以通过先在公网编译cpu版本，然后在编译开始阶段由构建脚本自动下载所有依赖组件并拷贝至所需目录来简化流程。

       编译顺利完成后，生成的so文件并未自动放入bin目录，这可能是由于在安装步骤后bin目录下才会出现相应的文件。接下来，我进入了调试阶段，使用vscode进行调试，最终成功运行了`build/RelWithDebInfo/onnxruntime_shared_lib_test`可执行文件。

       在深入研究ONNX Runtime的编译流程时，我发现了一个更深入的资源，它涵盖了从`build.sh`到`build.py`再到`CmakeList.txt`的编译过程，以及上述流程中涉及的脚本解析。对这个流程感兴趣的读者可以进行更深入的研究。

       在编译过程中，我遇到了一些问题，如下载cudnn并进行安装，以及解决找不到`stdlib.h`的问题。对于找不到`stdlib.h`，我通过查阅相关文章和理解编译过程中搜索路径的逻辑，最终找到了解决方案。如果忽略这个问题，我选择在另一台机器上重新编译以解决问题。

       在使用vscode调试时，我遇到了崩溃问题，这可能是由于vscode、gdb或Debug模式编译出的可执行文件存在潜在问题。通过逐步排除，我最终确定问题可能出在Debug模式编译的可执行文件上。这一系列的探索和解决过程，不仅加深了我对ONNX Runtime的理解，也提高了我的调试和问题解决能力。

一图看懂ONNX模型格式

       ONNX，全称为Open Neural Network Exchange，是APP表白源码一种跨框架的模型中间表示格式，旨在促进深度学习模型在不同训练和推理环境之间的转换与部署。它定义了标准化的数据协议，增强了模型的互操作性和开放性。尽管许多人将其视为单一的模型转换工具，但深入了解ONNX的结构和内部工作原理至关重要，以避免在实际应用中的兼容性问题。

       ONNX的核心是onnx.proto文件，其中包含了ModelProto、GraphProto、NodeProto、ValueInfoProto和TensorProto等关键对象。ModelProto封装了版本信息和模型结构，GraphProto则详细描述了计算图，包括输入（包含权重）、输出和计算节点。每个NodeProto都有输入和输出数组，通过这些关系构建模型的拓扑结构。值得注意的是，初始化权重通常作为Initializer中的TensorProto存储，同时在input数组中也有对应的输入节点，表示权重赋值的过程。

       计算节点的属性，如Conv层的group、pad和strides等，通过AttributeProto数组来定义，这些详细信息可在github.com/onnx/onnx/bl...找到。尽管这部分内容可以参考进行理解和学习，但理解这些结构对于正确使用ONNX进行模型转换至关重要。

       想要进一步掌握Pytorch导出ONNX模型的细节，可以参考后续的源码解析或相关学习资源，如BBuf的ONNX学习笔记。

ncnn和pnnx和onnx

       Pnnx作为ncnn的中间件，允许ncnn支持torchscript，简化了转换过程。它不直接是一个推理库，而是提供了一种将计算图导出为其他推理库所需文件格式的方法。

       NCNN提供多种功能，包括手动修改参数、动态操作和加速技巧。这些修改通常针对与ONNX和ATEN的兼容性。通过理解和运用这些技巧，可以更好地利用NCNN的性能。

       在转换过程中，涉及到一个概念叫“lower”，即使用支持的算子来模拟模型中不支持的算子。例如，如果模型包含一个带有padding的卷积，而推理库不支持padding，那么lower过程会将该卷积分解为垫阵和无padding的卷积。同样，sigmoid操作可能会被分解为多个基本操作以模拟其功能。

       在将模型转换为ONNX时，lower操作会重复进行两次。从python代码到torchscript再到ONNX，这会导致计算图变得庞大且细碎，不利于推理优化和模型理解。此外，这种转换可能会引入额外的算子，如Gather、Unsqueeze，这些在NCNN中可能不被支持。

       Pnnx位于torchscript之下，提供了一种从torchscript导出ncnn模型的新途径，从而实现模型部署。Pnnx的算子定义与python代码的接口保持一致，支持类似于python的API。通过保留原始模型的算子定义和参数，Pnnx模型可以被轻松转换回原始python代码或导出为Pnnx。

       在NCNN源码中，magic值记录了推理框架的版本号，表示模型文件的特定信息。Pnnx参考了NCNN的模型写法，支持更灵活的参数键，如字符串，以与python API保持一致。此外，Pnnx支持保留算术表达式的整体性，优化GPU和可编程硬件的性能，并提供自定义算子的导出和优化功能。

       在将模型转换为Pnnx时，可以指定模块操作，如Focus，以合并多个小操作为一个大操作，提高效率。Pnnx还支持量化感知训练的算子导出，并在转换过程中记录量化参数，解决了量化模型导出的问题。此外，Pnnx允许在模型中指定输入形状，有助于优化表达式和常量折叠过程，同时支持静态和动态形状。

       在Pnnx的内部图优化过程中，使用模板匹配技术从torchscript ir中找到对应的封闭子图，并将其替换为目标操作，从而优化模型结构。Pnnx提供了一个完整的框架，包括加载torchscript、转换为Pnnx ir、进行图优化和转换为python代码的过程。

       当前Pnnx项目兼容PyTorch 1.8、1.9和1.版本，支持种PyTorch上层操作中种转换为NCNN对应的操作。Pnnx已经实现了自动单元测试和代码覆盖率，对于常用CNN模型如ResNet和ShuffleNet，转换和推理结果与原始python版本一致。未来计划增加更多PyTorch算子支持、增强单元测试、测试端到端RNN和Transformer模型，并编写使用教程和开发文档。

onn是什么意思

       ONN是一个多义词，它可以表示多种不同的概念。

       首先，ONN可以指代“Open Neural Network Exchange”，这是一个开放源代码项目，旨在定义一个通用的神经网络交换格式。ONNX的目的是为了促进不同深度学习框架之间的互操作性，使模型能够在不同的平台和应用程序之间轻松迁移。通过使用ONNX，研究人员和开发人员可以更容易地共享和复用他们的神经网络模型，从而加速人工智能技术的创新和发展。

       其次，ONN还可以指代一种网络连接类型，即“Optical Network Node”。在光通信领域，ONN通常指的是一种用于处理光信号的网络节点设备。这些设备通常具有高速、高带宽和低延迟的特点，用于在光网络中传输和交换数据。ONN设备可以支持多种光网络协议和技术，如以太网、SONET/SDH和光纤通道等，以满足不同网络应用的需求。

       此外，ONN在不同的上下文中可能还有其他的含义。例如，在某些行业或领域中，ONN可能指代特定的技术、产品或服务。因此，在具体使用时，需要根据上下文来确定ONN的确切含义。

       总之，ONN是一个多义词，其具体含义取决于上下文。它可以指代Open Neural Network Exchange项目，也可以指代光通信领域中的Optical Network Node设备，还可能在其他领域具有不同的含义。在使用ONN时，需要根据具体情境来理解和解释其含义。

ONNX一本通：综述&使用&源码分析（持续更新）

       ONNX详解：功能概述、Python API应用与源码解析

       ONNX的核心功能集中在模型定义、算子操作、序列化与反序列化，以及模型验证上。它主要通过onnx-runtime实现运行时支持，包括图优化和平台特定的算子库。模型转换工具如tf、pytorch和mindspore的FMK工具包负责各自框架模型至ONNX的转换。

       ONNX Python API实战

       场景一：构建线性回归模型，基础操作演示了API的使用。

       场景二至四：包括为op添加常量参数、属性以及控制流（尽管控制流在正式模型中应尽量避免）。

       场景五和后续：涉及for循环和自定义算子的添加，如Cos算子，涉及算子定义、添加到算子集、Python实现等步骤。

       源码分析

       onnx.checker：负责模型和元素的检查，cpp代码中实现具体检查逻辑。

       onnx.compose、onnx.defs、onnx.helper等：提供模型构建、算子定义和辅助函数。

       onnx.numpy_helper：处理numpy数组与onnx tensor的转换。

       onnx.reference：提供Python实现的op推理功能。

       onnx.shape_inference：进行模型的形状推断。

       onnx.version_converter：处理不同op_set_version的转换。

       转换实践

       ONNX支持将tf、pytorch和mindspore的模型转换为ONNX格式，同时也有ONNX到TensorRT、MNN和MS-Lite等其他格式的转换选项。

       总结

       ONNX提供了一个统一的IR（中间表示）框架，通过Python API构建模型，支持算子定义的检查和模型的序列化。同时，它利用numpy实现基础算子，便于模型的正确性验证，并支持不同框架模型之间的转换。

[推理部署]👋解决: ONNXRuntime(Python) GPU 部署配置记录

       在探索深度学习推理部署过程中，ONNXRuntime(GPU)版本提供了简化ONNX模型转换和GPU加速的途径。本文将分享ONNXRuntime GPU部署的关键步骤，以助于高效解决问题和提高部署效率。

       首先，选择正确的基础镜像是部署ONNXRuntime GPU的关键。ONNXRuntime GPU依赖CUDA库，因此，镜像中必须包含CUDA动态库。在Docker Hub搜索PyTorch镜像时，选择带有CUDA库的devel版本（用于编译）是明智之举，尽管runtime版本在某些情况下也有效，但devel版本提供了更好的CUDA库支持。

       对于runtime和devel版本的选择，重要的是理解它们各自的用途。runtime版本适用于直接使用ONNXRuntime GPU进行推理，而devel版本则用于构建过程，确保在构建过程中可以访问CUDA库，从而避免因版本不匹配导致的问题。在使用pip安装时，两者都是可行的；若需从源码构建，则需使用devel版本。

       启动Docker镜像时，使用nvidia-docker启动并登录PyTorch 1.8.0容器至关重要，以确保能够访问GPU资源。确保宿主机显卡驱动正常，以避免在容器内无法使用GPU的情况。

       安装ONNXRuntime-GPU版本后，通过pip进行安装，检查是否能正常利用GPU资源。ONNXRuntime将自动识别可用的CUDA执行提供者（如TensorrtExecutionProvider和CUDAExecutionProvider），确保GPU推理加速。

       若发现无法利用GPU，可以尝试调整配置或确保已正确设置CUDA路径到PATH环境变量（在使用devel版本时）。在成功安装和配置后，ONNXRuntime将提供GPU加速的推理性能提升。

       在部署ONNXRuntime GPU时，确保在新建InferenceSession时加入TensorrtExecutionProvider和CUDAExecutionProvider，以充分利用GPU资源。性能测试显示，与CPU相比，GPU部署在推理任务上表现更优。

       总结而言，ONNXRuntime GPU部署涉及选择合适的基础镜像、正确启动Docker容器、安装ONNXRuntime GPU、配置GPU资源访问以及优化推理性能。通过遵循上述步骤，可以顺利实现ONNX模型在GPU上的高效部署。