1.复旦博士用130行代码搞定核酸统计，复旦这一程序解决了哪些问题？
2.自然语言处理大模型BLOOM模型结构源码解析(张量并行版)

复旦博士用130行代码搞定核酸统计，博士这一程序解决了哪些问题？

       核酸统计是行代一个比较复杂的问题，在防疫人员不是码源码复很充足的情况下，统计核算是旦博很慢。所以用代码搞定核酸统计可以有效的士知云计算 源码解决检测速率的问题，以及统计的复旦问题，同时也给防疫人员减轻了压力。博士

       能够通过快速的行代方式解决核酸统计的问题，是码源码复非常有意义的行为，能够为防疫人员减轻很多负担，旦博同时能够帮助他们快速统计核酸。士知

       一、复旦app授权源码核酸检测统计问题

       通过代码的博士形式设计核酸统计程序，相当于将统计问题，行代用最简单的方式快速解决。由于核酸检测人员过多，有时候仅凭人员统计，总是会出一些小问题，小差错，而且效果也不会很好。因为人有时在疲惫或者混乱的时候，容易将统计出错，而电脑计算，基本不会出现这样的vc源码排课问题，而且统计的效果也很好。

       二、核酸检测速率问题

       如果通过人员统计核酸，那速率会大大的降低，特别是一到核算统计的高峰期，仅凭几个防疫人员的统计，那速率会非常的慢，而且有可能会出现错误的统计问题，一般来讲通过代码合成系统进行统计是可以有效的达到统计的效果，而且速度会非常的快，就算是一天核酸检测人数过多，只要通过电脑系统的趋势软件源码统计，那速度会非常快。

       三、减轻防疫压力

       一般防疫人员在核酸统计期间是非常辛苦，如果一个地方出现了疫情，需要在一天或者一个晚上的时间就要对全市的居民进行核酸检测，这样的检测会力度非常大，而且统计每一个核酸检测的信息也是非常多的，在这种情况下，防御的压力也会增大，如果能够通过系统程序的方式快速的解决这一个问题，那是可以给防疫人员解决很大的优势，减轻防疫人员的维护网站源码压力。

自然语言处理大模型BLOOM模型结构源码解析(张量并行版)

       BLOOM模型结构解析，采用Megatron-DeepSpeed框架进行训练，张量并行采用1D模式。基于BigScience开源代码仓库，本文将详细介绍张量并行版BLOOM的原理和结构。

       单机版BLOOM解析见文章。

       模型结构实现依赖mpu模块，推荐系列文章深入理解mpu工具。

       Megatron-DeepSpeed张量并行工具代码mpu详解，覆盖并行环境初始化、Collective通信封装、张量并行层实现、测试以及Embedding层、交叉熵实现与测试。

       Embedding层：Transformer Embedding层包含Word、Position、TokenType三类，分别将输入映射为稠密向量、注入位置信息、类别信息。通常，位置信息通过ALiBi注入，无需传统Position Embedding，TokenType Embedding为可选项。张量并行版BLOOM Embedding层代码在megatron/model/language_model.py，通过参数控制三类Embedding使用。

       激活函数：位于megatron/model/utils.py，BLOOM激活函数采用近似公式实现。

       掩码：张量并行版模型用于预训练，采用Causal Mask确保当前token仅见左侧token。掩码实现于megatron/model/fused_softmax.py，将缩放、mask、softmax融合。

       ALiBi：位置信息注入机制，通过调整query-key点积中静态偏差实现。8个注意力头使用等比序列m计算斜率，个头则有不同序列。实现于megatron/model/transformer.py。

       MLP层：全连接层结构，列并行第一层，行并行第二层，实现于megatron/model/transformer.py。

       多头注意力层：基于标准多头注意力添加ALiBi，简化版代码位于megatron/model/transformer.py。

       并行Transformer层：对应单机版BlookBlock，实现于megatron/model/transformer.py。

       并行Transformer及语言模型：ParallelTransformer类堆叠多个ParallelTransformerLayer，TransformerLanguageModel类在开始添加Embedding层，在末尾添加Pooler，逻辑简单，代码未详述。

       相关文章系列覆盖大模型研究、RETRO、MPT、ChatGLM-6B、BLOOM、LoRA、推理工具测试、LaMDA、Chinchilla、GLM-B等。