1.swin transformer理解要点
2.轻松理解ViT(Vision Transformer)原理及源码
3.[CV - 图像分类 - 论文复现] 深度学习之图像分类经典模型 - MMClassification（二）- 初步认识
4.源代码阅读+一个示例 详解timm库背后的create_model以及register_model函数
5.捋一捋Swin Transformer

swin transformer理解要点

        这是跑通的分类以及分割源码介绍，大家有需要可以参考一下：

        1、 Swin-Transformer分类源码(已跑通)

        2、 Swin-Transformer分割源码(已跑通)

        3、 Swin-Unet(分割改编)

        我们假设图片的大小是×的，窗口大小是固定的，7×7。这里每个方框都是一个窗口，每个窗口是固定有7×7个patch，但是patch的大小是不固定的，它会随着patch merging的操作而发生变化。比如我们看这儿，patch大小是4×4的，那怎么变成8×8呢？我们把周边4个窗口的patch拼在一起，相当于patch扩大了2×2倍，从而得到8×8大小的patch。

        我们发现经过这一系列的操作之后，patch的数目在变少，最后整张图只有一个窗口，7个patch。所以我们可以认为降采样是指让patch的数量减少，但是patch的大小在变大。

        这便是对ViT的一个改进，ViT从头至尾都是对全局做self-attention，而swin-transformer是一个窗口在放大的过程，然后self-attention的计算是以窗口为单位去计算的，这样相当于引入了局部聚合的信息，和CNN的卷积过程很相似，就像是CNN的步长和卷积核大小一样，这样就做到了窗口的不重合，区别在于CNN在每个窗口做的是卷积的计算，每个窗口最后得到一个值，这个值代表着这个窗口的特征。而swin transformer在每个窗口做的是self-attention的计算，得到的是一个更新过的窗口，然后通过patch merging的操作，把窗口做了个合并，再继续对这个合并后的窗口做self-attention的计算。

        其实这边困扰了我一小下，因为我们印象中降采样都是像CNN一样，会变小，但是swin transformer没有给我们变小的感觉。其实这就是感受野没理解到位的问题，CNN到最后，设计适当，最后一个特征图的感受野是可以放大到整张图的，swin transformer最后一个stage也是一个窗口涵盖了整张图。

        Swin-transformer是怎么把复杂度降低的呢？ Swin Transformer Block这个模块和普通的transformer的区别就在于W-MSA，而它就是降低复杂度计算的大功臣。

        关于复杂度的计算，我简单的给大家介绍一下，首先是transformer本身基于全局的复杂度计算，这一块儿讲起来有点复杂，感兴趣的同学我们可以会后一起探讨推导过程。在这里，我们假设已知MSA的复杂度是图像大小的平方，根据MSA的复杂度，我们可以得出A的复杂度是(3×3)²ï¼Œæœ€åŽå¤æ‚度是。Swin transformer是在每个local windows(红色部分)计算self-attention，根据MSA的复杂度我们可以得出每个红色窗口的复杂度是1×1的平方，也就是1的四次方。然后9个窗口，这些窗口的复杂度加和，最后B的复杂度为9。

        W-MSA虽然降低了计算复杂度，但是不重合的window之间缺乏信息交流，所以想要窗口之间的信息有所交流，那么就可以把左图演化成右图这样，但是这就产生了一个问题，如此操作，会产生更多的windows，并且其中一部分window小于普通的window，比如4个window -> 9个window，windows数量增加了一倍多。这计算量又上来了。因此我们有两个目的，Windows数量不能多，window之间信息得有交流。

        我们看到，原来的图被划分了9个窗口，中间的区域A就是信息交流的证明。我们先把左上部分(蓝色以外的窗口)移动到右下，然后再用切分四块的方法去切这个图片，这时候区域A就被隔出来了，达到了我们想要的效果。

        transformer的出现并不是为了替代CNN。因为transformer有着CNN没有的功能性，它不仅可以提取特征，还可以做很多CNN做不到的事情，比如多模态融合。而swin transformer就是一个趋势，将CNN与transformer各自的优势有效的结合了起来。这是暂时对它的一些细节补充。最近听说MLP出来了，还没有细看，时代进展未免也太快了，手里针对ViT改进的文章还没投出去，就已经开始要立不住脚了。

        希望可以帮助到大家，如果你觉得这篇文章对你有一定的帮助，那就点个赞支持一下吧！如果有什么问题的话也可以在文章下面评论，我们一起交流解决问题！

        以下是我所有文章的目录，大家如果感兴趣，也可以前往查看

        👉戳右边： 打开它，也许会看到很多对你有帮助的文章

轻松理解ViT(Vision Transformer)原理及源码

       ViT，即Vision Transformer，是将Transformer架构引入视觉任务的创新。源于NLP领域的Transformer，ViT在图像识别任务中展现出卓越性能。理解ViT的美图程序源码原理和代码实现在此关键点上进行。

       ViT的核心流程包括图像分割为小块、块向量化、多层Transformer编码。图像被分为大小为x的块，块通过卷积和展平操作转换为向量，最终拼接形成序列。序列通过多层Transformer编码器处理，编码器包含多头自注意力机制和全连接前馈网络，实现特征提取和分类。模型输出即为分类结果。

       具体实现上，Patch Embedding过程通过卷积和展平简化，晨星天宇音效源码将大小为x的图像转换为x的向量序列。Transformer Encoder模块包括Attention类实现注意力机制，以及Mlp类处理非线性变换。Block类整合了这两个模块，实现完整的编码过程。

       VisionTransformer整体架构基于上述模块构建，流程与架构图保持一致。代码实现包括关键部分的细节，完整代码可参考相关资源。

       综上所述，ViT通过将图像分割与Transformer架构相结合，实现高效图像识别。理解其原理和代码，有助于深入掌握这一创新技术。

[CV - 图像分类 - 论文复现] 深度学习之图像分类经典模型 - MMClassification（二）- 初步认识

       本文将深入探讨深度学习中图像分类的经典模型，从理论到实践，以期复现实用的kt 操盘线 源码图像分类算法。

       首先回顾上一期内容，了解图像分类的基本框架。输入为图像，经过深度学习模型（如卷积神经网络CNN或自注意机制Transformer）自动提取特征，然后通过全连接层（MLP）加上Softmax分类器，最终输出类别标签。

       代码实现方面，项目源码位于github.com/open-mmlab/m...。以@OpenMMLab为代表的代码框架，包括配置文件、数据集、模型、训练策略和运行设置等组件，为实现图像分类任务提供了全面的支持。

       具体而言，配置文件包含模型、数据集等参数设置；数据集格式支持多种，开源社区源码推荐例如ImageNet和自定义CustomDataset；模型包含经典的ResNet、VGG、MobileNet系列、DenseNet等；训练策略定义优化器、学习率等参数；运行设置控制模型运行方式；工具包则提供了训练、测试、推理等接口。

       综上，深度学习图像分类算法主要包括CNN机制、Transformer机制、数据增强方法、激活函数选择和细粒度分类技术。从AlexNet到ResNet、MobileNet、DenseNet、RepVGG等模型，再到ViT、360看网页源码MobileViT、DeiT等新兴模型，展示了深度学习在图像分类领域的不断进步。

       在具体实现中，使用工具包中的train.py、text.py等命令，可实现单张GPU或多张GPU的训练、测试和推理操作。数据增强方法如Mixup、Cutout和CutMix，以及激活函数SiLU等，有助于提升模型性能。

       图像分类的应用广泛，例如生物医学图像分类，用于识别COVID-。通过对这些模型的复现与应用，可以更好地理解图像分类技术，推动相关领域的发展。

源代码阅读+一个示例 详解timm库背后的create_model以及register_model函数

       深入理解timm库的核心，本文将重点剖析create_model和register_model这两个关键函数的工作原理。timm库以其封装的便捷性和SOTA模型集成而闻名，但内部细节往往被隐藏。本文将通过一个实例，揭示create_model的全貌，包括register_model的作用，帮助读者更好地掌握这两个函数的使用。

       首先，create_model从model_name入手，如vit_base_patch_，通过parse_model_name函数将其解析。这个过程包括urlsplit函数，用于解析model_name，如timm和vit_base_patch_被分别赋值给model_source和model_name。

       进一步，split_model_name_tag函数被调用，将model_name拆分为基础模型名称和配置参数。例如，model_name='vit_base_patch_'，tag=''。

       然后，is_model函数检查model_name是否已注册在timm的_model_entrypoints字典中。register_model实际上是一个函数修饰器，它允许用户自定义模型，并将其添加到timm的框架中，以便无缝使用timm的训练工具，如ImageNet训练。

       在is_model验证后，create_fn通过model_entrypoint(model_name)创建模型。register_model的__name__属性在此过程中起到关键作用，它将用户自定义的函数与timm的框架连接起来。

       通过以上步骤，本文旨在解构create_model的内部逻辑，帮助读者更好地掌握register_model的修饰器功能，从而在项目中更自信地运用timm库。现在，让我们跟随代码实例，深入了解这两个函数的运作细节。

捋一捋Swin Transformer

       Swin Transformer是ICCV 的最佳论文，它证明了Transformer在视觉领域的通用性，特别体现在Swin-T模型上。其结构区别于ViT，采用4x4的初始切分和Window Attention，允许获取多尺度信息，适用于目标检测和语义分割。下面，我们通过源码解析Swin Transformer的工作原理。

       首先，Swin Transformer的架构包括PatchEmbed层，将图像切割成小patch，之后通过多个BasicLayer处理，每个BasicLayer由Swin Transformer Block和Patch Merging组成。与ViT不同，Swin-T的PatchEmbed使用4x4切分并逐渐增大patch尺寸，以实现多尺度变化。BasicLayer中的核心模块Swin Transformer Block包含两个Window Attention，一个在窗口内操作，另一个解决窗口间信息交流问题。

       Window Attention通过将输入分割成小窗口，降低计算复杂度，但通过shift操作引入了窗口之间的信息交互。Shifted Window Attention通过调整窗口位置并使用掩码来控制注意力，使得并行计算更高效。此外，Window Attention还包括了相对位置编码，增强对局部上下文的理解。

       Patch Merging则模仿CNN，通过合并小patch以提取不同分辨率的特征，有助于多尺度特征的提取。在实验中，Swin Transformer在图像分类、目标检测和语义分割等多个领域展现了出色性能，尽管面临如Convnext的竞争，但它在视觉领域的创新性和多模态潜力仍值得关注。