MoveNet-谷歌轻量级人体姿态估计算法
MoveNet
Google提供的算e算在线演示:storage.googleapis.com/...
MoveNet 是一个 Bottom-up estimation model, 使用heatmap。法源法
网络架构
主要分为三个部分:Backbone、算e算Header、法源法付费教育源码PostProcess
- Backbone:Mobilenetv2 + FPN
- Header:输入为Backbone的算e算特征图,经过各自的法源法卷积,输出各自维度的算e算特征图。共有四个Header:分别为Center、法源法KeypointRegression、算e算KeypointHeatmap、法源法Local Offsets
- Center:[N,算e算access 网页 搜索 源码 1, H, W], 这里1代表当前图像上所有人中心点的Heatmap,可以理解为关键点,法源法只有一个,算e算所以通道为1。法源法提取中心点两种方式:
- 一个人所有关键点的算e算算术平均数。
- 所有关键点最大外接矩形的qt 5.7源码龙芯中心点。(效果更好)
- KeypointHeatmap:[N, K, H, W] N:Batchsize、K:关键点数量,比如。H、W:对应特征图的源码社区的会员大小,这里输入为$ \times $ , 降采样四倍就是$\times $ 。代表当前图像上所有人的关键点的Heatmap
- KeypointRegresssion:[N, 2K, H, W] K个关键点,坐标用$x, y$表示,那么就有2K个数据。这里$x,思远门户源码 y$ 代表的是同一个人的关键点对于中心点的偏移值。原始MoveNet用的是特征图下的绝对偏移值,换成相对值(除以转换到0-1),可以加快收敛。
- LocalOffsets:[N, 2K, H, W] 对应K个关键点的坐标,这里是Offset,模型降采样特征图可能存在量化误差,比如分辨率下x = 0 和 x= 3映射到分辨率的特征图时坐标都变为了0;同时还有回归误差。
损失函数
KeypointHeadmap 和 Center 采用加权MSE,平衡了正负样本。 KeypointRegression 和LocalOffsets 采用了 L1 Loss。 最终各个Loss权重设置为1:1:1:1
参考文献快速开始
全流程引导进行项目生成,实现数据生成、训练、测试一体化
解压数据集配置项目环境训练测试
进入config.py 修改配置文件,修改测试路径。
测试结果Heatmap导出模型
个人介绍
姓名: 芦星宇 学校: 江苏科技大学 人工智能专业 本三 研究方向:姿态估计、图网络、异常检测 Github: github.com/Xingyu-Roman...
2024-12-24 08:29
2024-12-24 07:46
2024-12-24 06:28
2024-12-24 06:21
2024-12-24 06:16