皮皮网

1.caffe 中为什么bn层要和scale层一起使用
2.Caffe学习(二) —— 下载、码顺编译和安装Caffe（源码安装方式）
3.海思芯片AI模型转换环境配置(MindStudio+ATC)

caffe 中为什么bn层要和scale层一起使用

       1) 输入归一化 x_norm = (x-u)/std,码顺 其中u和std是个累计计算的均值和方差。

       2）y=alpha×x_norm + beta，对归一化后的x进行比例缩放和位移。其中alpha和beta是通过迭代学习的。

       é‚£ä¹ˆcaffe中的bn层其实只做了第一件事，scale层做了第二件事，所以两者要一起使用。

       ä¸€ï¼Œåœ¨Caffe中使用Batch Normalization需要注意以下两点：

       1. 要配合Scale层一起使用。

       2. è®­ç»ƒçš„时候，将BN层的use_global_stats设置为false，然后测试的时候将use_global_stats设置为true。

       äºŒï¼ŒåŸºæœ¬å…¬å¼æ¢³ç†ï¼š

       Scale层主要完成 top=alpha∗bottom+betatop=alpha∗bottom+beta的过程，则层中主要有两个参数alphaalpha与betabeta,

       æ±‚导会比较简单。∂y∂x=alpha;∂y∂alpha=x;∂y∂beta=1。 需要注意的是alphaalpha与betabeta均为向量，针对输入的channelschannels进行的处理，因此不能简单的认定为一个floatfloat的实数。

       ä¸‰ï¼Œå…·ä½“实现该部分将结合源码实现解析scalescale层:

       åœ¨Caffe proto中ScaleParameter中对Scale有如下几个参数：

       1，基本成员变量，基本成员变量主要包含了Bias层的参数以及Scale层完成对应通道的标注工作。

       2，基本成员函数，主要包含了LayerSetup,Reshape ,Forward和Backward ，内部调用的时候bias_term为true的时候会调用biasLayer的相关函数。

       3，Reshape 调整输入输出与中间变量，Reshape层完成许多中间变量的size初始化。

       4，Forward 前向计算，前向计算，在BN中国紧跟着BN的归一化输出，完成乘以alpha与+bias的操作，由于alpha与bias均为C的向量，因此需要先进行广播。

       5，Backward 反向计算，主要求解三个梯度，对alpha 、beta和输入的bottom(此处的temp)。

Caffe学习(二) —— 下载、编译和安装Caffe（源码安装方式）

       采用caffe源码编译安装方式说明

       此方法仅适用于编译CPU支持版本的码顺Caffe。推荐通过Git下载以获取更新及查看历史变更。码顺

       主机环境配置

       系统环境：Ubuntu .

       步骤一：安装依赖库与Python 2.7

       步骤二：安装CUDA（注意：虽然仅编译CPU版本的码顺Caffe，但安装CUDA时可能会遇到编译错误，码顺高效阅读python源码需确保环境兼容性）

       编译Caffe

       步骤一：修改Make.config文件

       具体配置说明请参考我的码顺另一篇博客（"Hello小崔：caffe(master分支)Makefile.config分析"）

       步骤二：执行make编译

       测试已通过

       步骤三：解决编译过程中的错误

       错误实例：ImportError: No module named skimage.io

       解决方法：执行sudo apt-get install python-skimage

       错误实例：ImportError: No module named google.protobuf.internal

       解决方法：执行sudo apt-get install python-protobuf

       更多错误解决办法，请参阅另一篇博客（"Hello小崔：caffe编译报错解决记录"）

海思芯片AI模型转换环境配置(MindStudio+ATC)

       在配置海思芯片AI模型转换环境时，码顺直接在服务器上安装配置可能引发冲突，码顺因此推荐在Docker环境中部署转换工具，码顺以确保良好的码顺隔离性，避免不同开发环境间的码顺相互影响。以下是码顺gom引擎源码2015在Ubuntu容器中部署海思芯片模型转换相关工具的步骤：

       首先，拉取Ubuntu .的码顺Docker镜像，检查当前已有的码顺镜像。

       然后，创建一个容器并运行，该容器将提供可视化界面，便于操作。tacotron2源码

       部署CANN环境，为后续使用海思芯片做好硬件准备。

       安装MindStudio，这是一个用于AI模型开发和调试的集成开发环境。

       接下来，安装模型压缩量化工具（如caffe），net开源框架源码用于优化模型大小与性能。

       部署caffe框架，确保与MindStudio的兼容性。

       安装Caffe源代码增强包，扩展caffe的功能与性能。

       执行量化操作，cms网站源码服装通过caffe优化模型的精度与运行效率。

       模型转换采用图形开发方式与命令行开发方式，灵活适应不同需求。

       完成模型转换后，进行板端程序编译，确保模型可在海思芯片上正确运行。

       同步推理过程，验证模型转换效果。

       如果需要，安装模型压缩量化工具（如pytorch），并执行量化操作，以进一步优化模型。

       参考《模型压缩工具使用指南（PyTorch）.pdf》中第3章内容，深入了解PyTorch量化操作。

       配置aiitop sample打包环境，为模型部署做准备（可选）。

       容器中配置SSH连接，实现远程访问与管理（可选）。

       容器导出镜像，方便在不同环境中复用（可选）。

       遇到问题时，查阅FAQ寻求解决方案。

       本文使用Zhihu On VSCode完成撰写与发布。