1.LSTM原理及生成藏头诗（Python）
2.[推理部署]🔥🔥🔥 全网最详细 ONNXRuntime C++/Java/Python 资料！
3.高级神经网络Keras+CNN-GRU-Attention负荷预测（Python代码实现）
4.自己动手写CNN Inference框架之 (二) conv2d
5.C++ 中的卷积神经网络 (CNN)
6.Python时序预测系列基于CNN+LSTM+Attention实现单变量时间序列预测（案例+源码）
LSTM原理及生成藏头诗（Python）
常见的神经网络模型结构有前馈神经网络(DNN)、RNN（常用于文本 / 时间序列任务）、CNN（常用于图像任务）等等。
RNN是基于序列数据（如语言、语音、java thread编程源码时间序列）的递归性质而设计的，是一种反馈类型的神经网络。RNN除了接受每一步的输入x(t) ，同时还有输入上一步的历史反馈信息——隐藏状态h (t-1) ，当前时刻的隐藏状态h(t) 或决策输出O(t) 由当前时刻的输入 x(t) 和上一时刻的隐藏状态h (t-1) 共同决定。
然而，在实际应用中，RNN在处理长序列数据时，容易遇到梯度爆炸或梯度消失的问题，这主要是由于模型“记忆”的序列信息过长，导致难以学习远距离依赖关系。为了解决这个问题，引入了“门控”机制的LSTM应运而生。
LSTM在网络基础结构上引入了遗忘门、输入门和输出门，通过选择性地保留或删除信息，解决了长期依赖问题。具体地，遗忘门决定丢弃哪些信息，输入门决定存储哪些新信息，输出门则决定生成的输出。
以下为LSTM原理简要说明：
* 遗忘门：决定上一个时间点的状态Ct-1中要丢弃哪些信息。
* 输入门：决定在状态中存储哪些新信息。
* 输出门：根据上一个时间点的输出ht-1和当前时间点的状态Ct生成最终的输出。
通过这些“门控”机制，LSTM能够选择性地记忆和遗忘信息，从而更好地学习长期依赖关系。
在实际应用中，LSTM模型可以用于生成诗歌。通过训练深层LSTM模型，可以学习诗歌数据集中的模式，并生成新诗。以下为实现步骤：
* 构建LSTM模型。
* 训练模型，一般考虑训练时长，简单训练2个epoch。
* 加载训练好的成语猜谜源码模型，输入关键字后，自动生成藏头诗。
虽然生成的诗句在外观上看起来优雅，但实际上可能不够严谨。通过增加训练的epoch和数据集，可以进一步提高模型性能。
[推理部署]🔥🔥🔥 全网最详细 ONNXRuntime C++/Java/Python 资料！
全网最详尽ONNXRuntime C++/Java/Python资料概览
近期，我计划整理一系列关于TNN、MNN、NCNN和ONNXRuntime的笔记，用以记录实践中的经验和学习成果，方便日后快速解决问题（目前已有超过个C++推理示例，形成了可复用的库）。本文档详尽收录了ONNXRuntime的相关资源，包括官方文档、C++、Java和Python接口，以及我在使用中的实用技巧。1. 官方文档和API参考
2. C++ API深度解析与案例
3. Java接口使用指南
4. Docker镜像安装与配置
5. 源代码编译与理解
6. 与ONNX Opset兼容性探讨
7. 与其他转换工具兼容性
8. Ort::Value获取值方法：At()、裸指针与引用
9. 源码实战案例：目标检测、人脸识别等
. 动态维度推理与高级应用
. 学习ONNXRuntime源码
. 推荐阅读与持续更新
这份内容将持续更新，欢迎关注并收藏，以便获取最新的模型案例和功能介绍。Markdown版本可在我的仓库获取：[仓库链接]高级神经网络Keras+CNN-GRU-Attention负荷预测（Python代码实现）
高级神经网络Keras知识点讲解及入门算例
在本部分，我们将探讨高级神经网络Keras的基础知识，通过实例来理解Keras库的应用。Keras是一个高级神经网络API，可以使用Python进行快速构建、训练和评估神经网络模型。通过数学建模，“华为杯”高级神经网络Keras项目展示了如何利用Keras实现复杂的神经网络结构，本实例将指导你从零开始构建模型。
CNN-GRU-Attention负荷预测
在本节，我们将介绍使用卷积神经网络（CNN）、门控循环单元（GRU）和注意力机制（Attention）进行负荷预测的方法。负荷预测在电力系统管理中至关重要，能够帮助优化资源配置和提高效率。下面展示了使用Keras实现的Python代码。
**Python代码实现
**首先，将数据集切分为输入和输出：前一个采样点的天气因素和电力负荷作为输入，后一个采样点的网校通 源码负荷作为输出。接下来，调整数据形状为3D数组，满足循环神经网络的输入要求。然后，定义模型结构，包含CNN、GRU层和注意力机制。模型的详细配置如下：
python
部分代码：
python
# 分为输入输出，将前一采样点的天气因素和电力负荷作为输入，后一采样点的作为输出标签
train_X, train_y = train[:, :-1], train[:, -1]
val_X, val_y = val[:, :-1], val[:, -1]
test_X, test_y = test[:, :-1], test[:, -1]
# 重塑成3D形状 [样例, 时间步, 特征]
train_X = train_X.reshape((train_X.shape[0], 1, train_X.shape[1]))
val_X = val_X.reshape((val_X.shape[0], 1, val_X.shape[1]))
test_X = test_X.reshape((test_X.shape[0], 1, test_X.shape[1]))
# window_size设置窗口大小为1，可以理解为时间步为1，特征数为7
window_size = 1
fea_num = 7
# 按照keras的要求搭建神经网络
model = keras.Sequential()
# 设置输入数据的大小
model.add(Input((window_size, fea_num)))
model.add(Reshape((window_size, fea_num, 1)))
model.add(Conv2D(filters=, kernel_size=3, strides=1, padding="same", activation="relu"))
model.add(MaxPooling2D(pool_size=2, strides=1, padding="same"))
model.add(Dropout(0.3))
model.add(Reshape((window_size, -1)))
model.add(GRU(, return_sequences=True))
model.add(GRU(, return_sequences=True))
model.add(Attention())
model.add(Dense(, activation="relu"))
model.add(Dense(1))
print(model.summary())
# 对网络进行编译，选择计算误差的函数，优化器。
model.compile(loss='mse', optimizer='adam', metrics=['mse'])
# 拟合网络，对模型进行轮的训练，每个批次个数据，将验证数据集输入网络进行验证。
history = model.fit(train_X, train_y, epochs=, batch_size=, verbose=2, validation_data=(val_X, val_y))
model.save('CNN-LSTM-Attention.h5')
**运行结果
**训练完成后，模型预测结果将被展示。结果通常包括预测误差、准确率等指标。通过对比实际值与预测值，可以评估模型的性能。
**高级神经网络Keras+CNN-GRU-Attention负荷预测（Python代码+数据）
**要获取完整的代码和数据集，可从以下链接下载：
链接：pan.baidu.com/s/1rE5xcv... 提取码：jntx --来自百度网盘超级会员V3的分享
自己动手写CNN Inference框架之 (二) conv2d
卷积是CNN网络中至关重要的操作，其原理可在维基百科上找到。然而，本文专注于描述不同于传统数学卷积的二维卷积，更像相关性运算，无需旋转核。本文指导从TensorFlow的图中提取conv2d的参数，并使用简单C语言进行模型加载与推理，与TensorFlow的Python调用结果进行对比验证准确性。后续文章将探讨如何针对嵌入式设备使用Halide、Arm Compute Library（ACL）或低级SIMD API进行加速。
数据格式约定采用NCHW，仅处理float数据。Tensor定义简单，参考提供的结构体。接下来，我们介绍卷积操作，成语激励源码采用sliding-windows嵌套多层实现。输出高度的计算公式涉及输入张量高度、滤波器高度、垂直贴边长度与滑动步长。
在完成卷积操作后，我们将探讨如何从TensorFlow图中获取卷积参数。使用Python脚本简化处理，保存至自定义格式文件中。生成包含conv2d的图，只需两行代码。从图中提取卷积核参数，首先获取图的所有可训练参数，然后按照'conv2d/kernel:0'关键字提取参数。在图定义中，通过'conv2d/Conv2D'关键字提取操作参数，包括填充、步长、核形状等。结果保存为两个文件，分别存放数值参数和操作参数。注意TensorFlow数据布局为NHWC，输出时需调整为NCHW，采用`a = np.transpose(a,(0,2,3,1))`操作。
参数保存后，values文件包含所有值，config文件包含操作参数。我们约定第一个参数为输入Op类型，当识别为conv2d时，依据以下规则解析模型：读取第二至第五行的五个参数，表示NCHW，即卷积核形状；读取卷积类型（有效或相同）；读取数据布局（NHWC）；基于初始张量形状，读取values文件中的参数，注意布局为NCHW。
接着，编写业务代码进行模型测试，逻辑涉及解析模型配置文件、初始化values、执行conv2d操作，并与Python输出结果进行精确性对比。
本文实现了简单的TensorFlow二维卷积，通过Python脚本解析图中的conv2d参数，保存为自定义格式文件。源码模型支援在自定义格式下读取和解析Op及其参数，实现数值计算，并与TensorFlow的计算结果一致。后续文章将采用类似方式开发Dense、Pooling等Op，并使用本教程代码的GitHub链接。欢迎讨论和关注专栏。
C++ 中的卷积神经网络 (CNN)
C++中的卷积神经网络（CNN）是深度学习领域的重要工具，尤其在需要实时推理的场景中，如特斯拉汽车的系统。尽管Python因其库丰富而常用于原型设计，但在部署大型模型时，C++的实时性能更为关键。本文将通过mlpack，一个C++机器学习库，展示如何用C++编写CNN并对MNIST数据集进行分类。
mlpack是一个高效的机器学习库，它利用底层库提供快速且可扩展的深度学习算法。MNIST数据集包含0-9的手写数字图像，存储在CSV文件中。在处理数据时，需注意数据格式的转换，如标签和特征的转置，以及将标签转换为从1开始的格式，以便mlpack的负对数似然损失函数能正确计算。
我们的CNN模型设计会包含一个简单的卷积架构，参数MAX_ITERATIONS设置为0，以便实现提前停止的训练策略。这样做的目的是在训练后期利用验证集的性能，即使模型在达到最小损失时停止训练，从而优化模型性能。至于代码实现，虽然本文并未详细展示，但可以参考作者在GitHub上的代码链接：github.com/Aakash-kaush...
Python时序预测系列基于CNN+LSTM+Attention实现单变量时间序列预测（案例+源码）
本文将介绍如何结合CNN、LSTM和Attention机制实现单变量时间序列预测。这种方法能够有效处理序列数据中的时空特征，结合了CNN在局部特征捕捉方面的优势和LSTM在时间依赖性处理上的能力。此外，引入注意力机制能够选择性关注序列中的关键信息，增强模型对细微和语境相关细节的捕捉能力。
具体实现步骤如下：
首先，读取数据集。数据集包含条记录，按照8:2的比例划分为训练集和测试集。训练集包含条数据，用于模型训练；测试集包含条数据，用于评估模型预测效果。
接着，对数据进行归一化处理，确保输入模型的数据在一定范围内，有利于模型训练和预测。
构造数据集时，构建输入序列（时间窗口）和输出标签。这些序列将被输入到模型中，以预测未来的时间点。
构建模拟合模型进行预测，通过训练得到的模型参数，将输入序列作为输入，预测下一个时间点的值。
展示预测效果，包括测试集的真实值与预测值的对比，以及原始数据、训练集预测结果和测试集预测结果的可视化。
总结，本文基于CNN、LSTM和Attention机制实现的单变量时间序列预测方法，能够有效处理序列数据中的复杂特征。实践过程中，通过合理的数据划分、归一化处理和模型结构设计，实现了对时间序列数据的准确预测。希望本文的分享能为读者提供宝贵的参考，促进在时间序列预测领域的深入研究和应用。
ncnn和pnnx和onnx
Pnnx作为ncnn的中间件，允许ncnn支持torchscript，简化了转换过程。它不直接是一个推理库，而是提供了一种将计算图导出为其他推理库所需文件格式的方法。
NCNN提供多种功能，包括手动修改参数、动态操作和加速技巧。这些修改通常针对与ONNX和ATEN的兼容性。通过理解和运用这些技巧，可以更好地利用NCNN的性能。
在转换过程中，涉及到一个概念叫“lower”，即使用支持的算子来模拟模型中不支持的算子。例如，如果模型包含一个带有padding的卷积，而推理库不支持padding，那么lower过程会将该卷积分解为垫阵和无padding的卷积。同样，sigmoid操作可能会被分解为多个基本操作以模拟其功能。
在将模型转换为ONNX时，lower操作会重复进行两次。从python代码到torchscript再到ONNX，这会导致计算图变得庞大且细碎，不利于推理优化和模型理解。此外，这种转换可能会引入额外的算子，如Gather、Unsqueeze，这些在NCNN中可能不被支持。
Pnnx位于torchscript之下，提供了一种从torchscript导出ncnn模型的新途径，从而实现模型部署。Pnnx的算子定义与python代码的接口保持一致，支持类似于python的API。通过保留原始模型的算子定义和参数，Pnnx模型可以被轻松转换回原始python代码或导出为Pnnx。
在NCNN源码中，magic值记录了推理框架的版本号，表示模型文件的特定信息。Pnnx参考了NCNN的模型写法，支持更灵活的参数键，如字符串，以与python API保持一致。此外，Pnnx支持保留算术表达式的整体性，优化GPU和可编程硬件的性能，并提供自定义算子的导出和优化功能。
在将模型转换为Pnnx时，可以指定模块操作，如Focus，以合并多个小操作为一个大操作，提高效率。Pnnx还支持量化感知训练的算子导出，并在转换过程中记录量化参数，解决了量化模型导出的问题。此外，Pnnx允许在模型中指定输入形状，有助于优化表达式和常量折叠过程，同时支持静态和动态形状。
在Pnnx的内部图优化过程中，使用模板匹配技术从torchscript ir中找到对应的封闭子图，并将其替换为目标操作，从而优化模型结构。Pnnx提供了一个完整的框架，包括加载torchscript、转换为Pnnx ir、进行图优化和转换为python代码的过程。
当前Pnnx项目兼容PyTorch 1.8、1.9和1.版本，支持种PyTorch上层操作中种转换为NCNN对应的操作。Pnnx已经实现了自动单元测试和代码覆盖率，对于常用CNN模型如ResNet和ShuffleNet，转换和推理结果与原始python版本一致。未来计划增加更多PyTorch算子支持、增强单元测试、测试端到端RNN和Transformer模型，并编写使用教程和开发文档。
ncnn的使用2：onnx转ncnn模型跑resnet
NCNN的使用教程：将ONNX模型转换为运行ResNet
NCNN提供了强大的模型转换工具，便于将Caffe、ONNX等模型转换为ncnn格式。在编译后的ncnn build/tools目录下，我们找到了onnx2ncnn工具。本文将展示如何使用它将PyTorch导出的ResNet的ONNX模型转换为ncnn适用的模型。
项目的结构如下：src存放源代码，python包含脚本，model_param存放模型文件，image存放推理，bin存放可执行文件。在bin目录下，我们拷贝了来自ncnn/build/tools/onnx的onnx2ncnn工具。
在python脚本export_res.py中，通过给定示例输入，我们导出resnet的ONNX模型至model_param目录。然后，我们使用ncnn官方提供的工具onnx2ncnn进行转换，生成resnet.param和resnet.bin文件，分别存储模型结构和参数。
resnet.param文件包含（magic number）和层与blob的数量，其中blob用于存储中间数据。Blob的数量通常比层多，因为每个层可能有多个输入和输出。例如，Convolution层有输入和输出blob，而Split算子则有多个输入和输出。
在推理代码中，我们参考ncnn/examples/squeezenet.cpp编写，首先创建Net实例，加载模型参数（resnet.param和resnet.bin），并确保输入转换为RGB格式，因为OpenCV默认为BGR。此外，还需对进行归一化处理，以适应模型的输入要求。
CMakeLists.txt文件中，我们设置了ncnn库的搜索路径，并将可执行文件输出到bin目录下，同时链接ncnn和OpenCV库。
通过以上步骤，你已经学会了如何使用ncnn将ONNX格式的ResNet模型转换并进行推理。
CNN内容讲解以及代码展示
什么是CNN？
CNN，全称为卷积神经网络，是一种多层的人工神经网络，其设计灵感来源于生物大脑的结构和功能。CNN由不同的层组成，每个层都有其特定的用途。让我们深入了解CNN的三个关键层及其功能。
卷积层（Convolutional Layer）
卷积层的主要功能是提取特征。它使用卷积核进行操作，卷积核是一个权重矩阵，大小通常是3x3或5x5。这些权重用于识别图像中的特定特征，例如边缘、纹理或形状。卷积过程包括将卷积核与输入图像的每个部分相乘，然后求和，从而生成新的特征图。
池化层（Pooling Layer）
池化层的主要作用是下采样和减少图像尺寸。它通过取最大值、最小值或平均值等方式，降低特征图的维度，同时保留图像中最重要的特征。这种操作有助于减少计算量，提高模型的训练速度和效率。池化层通常与卷积层一起使用，通过滑动窗口的方式进行操作。
全连接层（Fully-connected Layer）
全连接层是神经网络中的一种基本层结构，它将网络中前一层的所有神经元与后一层的所有神经元相连接，因此被称为“全连接”。全连接层的主要作用是特征融合，将之前各层提取的特征综合起来，形成更高级别的表示。在分类任务中，全连接层通常位于卷积层和池化层之后，为最终的输出结果或预测做准备。
CNN的基本实现
为了构建和训练一个简单的CNN模型，可以使用Keras库。以下是一个基本的代码示例：
python
import keras
from keras.preprocessing.image import ImageDataGenerator
# 读取训练数据
train_dir = ImageDataGenerator().flow_from_directory(train_dir, (,), batch_size=5, shuffle=False)
# 构建神经网络层
# 假设模型结构包括卷积层、池化层和全连接层
# 编译模型
# 训练模型
# 评估模型
# 预测结果
# 计算混淆矩阵
使用混淆矩阵（Confusion Matrix）来评估模型性能。
混淆矩阵是一种用于比较模型预测结果与真实标签的表格形式。它有助于计算准确率、召回率、精确率和F1分数等指标，从而全面了解模型的性能。通过将真实标签与模型预测结果输入到混淆矩阵函数中，可以计算出各个指标，以便深入分析模型在分类任务中的表现。
执行代码后，可以得到混淆矩阵，并进一步计算模型的准确率、召回率、精确率和F1分数等指标，从而评估模型性能。
