1.AI与PDE（七）：AFNO模型的源码源代码解析
2.OpenAI/Triton MLIR 第零章: 源码编译
3.大神用Python做个AI出牌器，实现财富自由附源码
4.腾讯T2I-adapter源码分析（1）-运行源码跑训练
5.如何用Python写一个贪吃蛇AI
6.腾讯T2I-adapter源码分析（3）-训练源码分析

AI与PDE（七）：AFNO模型的实现源代码解析

       本文旨在解析AFNO模型的源代码，帮助读者理解模型细节与主干结构。源码首先，实现AFNO模型的源码主干框架在afnonet.py文件中定义，通过类AFNONet实现。实现源码翻牌机模型的源码核心功能封装在多个类与函数中，依据代码注释逐步解析。实现

       在代码中，源码forward_features函数负责模型的实现核心逻辑，包括patch切割与mixing过程。源码这些操作由PatchEmbed类实现。实现位置编码self.pos_embed通过高斯初始化得到，源码增加模型的实现表示能力。

       关键模块AFNO2d位于代码中，源码它基于FNO的原理，负责处理输入数据。AFNO2d模块在forward_features函数中通过循环调用，实现数据的转换与混合。

       经过数个L layer处理后，模型进入类似解码器的结构，用于将中间结果映射为目标结果。这一过程通过self.head(x)实现，以解决特定分类问题。

       本文通过梳理代码流程与结构图，直观展示了AFNO模型的工作原理。读者可参考AFNO的GitHub源代码与论文，深入理解细节。后续文章将继续探讨基于AFNO模型框架的其他应用，如FourCastNet。

OpenAI/Triton MLIR 第零章: 源码编译

       本文旨在深入探讨开源AI项目OpenAI Triton MLIR，着重介绍Triton作为编程语言与编译器在GPU加速计算领域的应用与优化。Triton为用户提供了一种全新的方式，通过将其后端接入LLVM IR，利用NVPTX生成GPU代码，进而提升计算效率。相较于传统CUDA编程，Triton无需依赖NVIDIA的nvcc编译器，直接生成可运行的机器代码，体现出其在深度学习与数据科学领域的高性能计算潜力。Triton不仅支持NVIDIA GPU，还计划扩展至AMD与Intel GPU，其设计基于MLIR框架，通过Dialect支持多样化后端。本文将从源码编译角度出发，逐步解析Triton的设计理念与优化策略，为研究编译技术和系统优化的工程师提供宝贵资源。

       首先，需要访问Triton的官方网站，克隆其官方代码库，以便后续操作。构建过程涉及两个重要依赖：LLVM与pybind。LLVM作为Triton的核心后端，通过将高级Python代码逐步转换至LLVM IR，最终生成GPU可运行代码，体现了其在计算优化领域的veency插件源码优势。pybind组件则用于封装C++/CUDA或汇编代码，实现Python DSL与高性能组件的无缝集成。

       接下来，将LLVM与pybind分别编译安装，通过手动配置指定路径，确保编译过程顺利进行。LLVM的安装对于基于Triton进行二次开发的工程师和研究人员至关重要，因为它为Triton提供了强大的计算基础。在特定的commit ID下编译Triton，确保与后续版本兼容。

       在编译过程中，配置pybind同样至关重要，它允许用户通过Python API调用高性能组件，实现自动化生成高性能算子。完成编译后，生成的.so文件（libtriton.so）为后续Triton的Python接口提供了支持。

       将libtriton.so移动至triton/python/triton/_C目录下，确保Python路径正确配置，实现无缝导入与调用。通过简单的import triton命令，即可开启Triton的开发之旅。验证Triton性能，可以选择tutorials目录下的示例代码，如-matrix-multiplication.py，通过运行该脚本，观察Triton在GPU上的性能表现。

       Triton在NVGPU上的成熟映射路线，从抽象的Python DSL到贴近GPU层面的IR，最终生成高效机器代码，体现了其在高性能计算领域的优越性。Triton未来的发展蓝图将支持更多前端语言，对接不同硬件厂商的硬件，实现高效映射，满足多样化计算需求。

大神用Python做个AI出牌器，实现财富自由附源码

       在互联网上，我注意到一个有趣的开源项目——快手团队的DouZero，它将AI技术应用到了斗地主游戏中。今天，我们将通过学习如何使用这个原理，来制作一个能辅助出牌的欢乐斗地主AI工具，也许它能帮助我们提升游戏策略，迈向财富自由的境界。

       首先，让我们看看AI出牌器的实际运作效果:

       接下来，我们逐步构建这个AI出牌器的制作过程:

       核心功能与实现步骤

       UI设计：首先，我们需要设计一个简洁的用户界面，使用Python的pyqt5库，如下是关键代码:

       识别数据：在屏幕上抓取特定区域，通过模板匹配识别AI的手牌、底牌和对手出牌，这部分依赖于截图分析，核心代码如下:

       地主确认：通过截图确定地主身份，代码负责处理这一环节:

       AI出牌决策：利用DouZero的AI模型，对每一轮出牌进行判断和决策，bigdecimal类源码这部分涉及到代码集成，例如:

       有了这些功能，出牌器的基本流程就完成了。接下来是使用方法:

       使用与配置

       环境安装：你需要安装相关库，并配置好运行环境，具体步骤如下:

       位置调整：确保游戏窗口设置正确，AI出牌器窗口不遮挡关键信息:

       运行测试：完成环境配置后，即可启动程序，与AI一起战斗:

       最后，实际操作时，打开斗地主游戏，让AI在合适的时间介入，体验AI带来的智慧策略，看看它是否能帮助你赢得胜利！

腾讯T2I-adapter源码分析（1）-运行源码跑训练

       稳定扩散、midjourney等AI绘图技术，为人们带来了令人惊叹的效果，不禁让人感叹技术发展的日新月异。然而，AI绘图的可控性一直不是很好，通过prompt描述词来操控图像很难做到随心所欲。为了使AI绘制的图像更具可控性，Controlnet、T2I-adapter等技术应运而生。本系列文章将从T2I-adapter的源码出发，分析其实现方法。

       本篇是第一篇，主要介绍源码的运行方法，后续两篇将以深度图为例，分别分析推理部分和训练部分的代码。分析T2I-Adapter，也是为了继续研究我一直在研究的课题：“AI生成同一人物不同动作”，例如：罗培羽：stable-diffusion生成同一人物不同动作的尝试（多姿势图），Controlnet、T2I-adapter给了我一些灵感，后续将进行尝试。

       T2I-Adapter论文地址如下，它与controlnet类似，都是在原模型增加一个旁路，然后对推理结果求和。

       T2I-Adapter和controlnet有两个主要的不同点，从图中可见，其一是在unet的编码阶段增加参数，而controlnet主要是解码阶段；其二是controlnet复制unit的上半部结构，而T2I-Adapter使用不同的模型结构。由于采用较小的模型，因此T2I-Adapter的模型较小，默认下占用M左右，而controlnet模型一般要5G空间。

       首先确保机器上装有3.6版本以上python，然后把代码clone下来。随后安装依赖项，打开requirements.txt，可以看到依赖项的内容。然后下载示例，接龙 网站源码下载的会放到examples目录下。接着下载sd模型到model目录下，再下载T2I-Adapter的模型到目录下，模型可以按需到huggingface.co/TencentA...下载。这里我下载了depth和openpose。sd模型除了上述的v1-5，也还下载了sd-v1-4.ckpt。

       根据文档，尝试运行一个由深度图生成的例子，下图的左侧是深度图，提示语是"desk, best quality, extremely detailed"，右侧是生成出来的。运行过程比较艰辛，一开始在一台8G显存的服务器上跑，显存不够；重新搭环境在一台G显存的服务器上跑，还是不够；最后用一台G显存的服务器，终于运行起来了。

       接下来尝试跑openpose的例子，下图左侧是骨架图，提示词为"Iron man, high-quality, high-res"，右侧是生成的图像。

       既然能跑推理，那么尝试跑训练。为了后续修改代码运行，目标是准备一点点数据把训练代码跑起来，至于训练的效果不是当前关注的。程序中也有训练的脚步，我们以训练深度图条件为例，来运行train_depth.py。

       显然，习惯了，会有一些问题没法直接运行，需要先做两步工作。准备训练数据，分析代码，定位到ldm/data/dataset_depth.py，反推它的数据集结构，然后准备对应数据。先创建文件datasets/laion_depth_meta_v1.txt，用于存放数据文件的地址，由于只是测试，我就只添加两行。然后准备，图中的.png和.png是结果图，.depth.png和.depth.png是深度图，.txt和.txt是对应的文本描述。

       文本描述如下，都只是为了把代码跑起来而做的简单设置。设置环境变量，由于T2I-Adapter使用多卡训练，显然我也没这个环境，因此要让它在单机上跑。而代码中也会获取一些环境变量，因此做简单的设置。

       做好准备工作，神马源码php可以运行程序了，出于硬件条件限制，只能把batch size设置为1。在A显卡跑了约8小时，完成，按默认的配置，模型保存experiments/train_depth/models/model_ad_.pth。那么，使用训练出来的模型试试效果，能生成如下（此处只是为了跑起来代码，用训练集来测试），验证了可以跑起来。

       运行起来，但这还不够，我们还得看看代码是怎么写法，下一篇见。

       PS：《直观理解AI博弈原理》是笔者写的一篇长文，从五子棋、象棋、围棋的AI演进讲起，从深度遍历、MAX-MIN剪枝再到蒙特卡罗树搜索，一步步介绍AI博弈的原理，而后引出强化学习方法，通俗易懂地介绍AlphaGo围棋、星际争霸强化学习AI、王者荣耀AI的一些强化学习要点，值得推荐。

       AUTOMATIC的webui是近期很流行的stable-diffusion应用，它集合stable-diffusion各项常用功能，还通过扩展的形式支持controlnet、lora等技术，我们也分析了它的源码实现，写了一系列文章。

如何用Python写一个贪吃蛇AI

       如何用Python写一个贪吃蛇AI

       前言

       最近在网上看到一张让人涨姿势的，中展示的是贪吃蛇游戏，估计大部分人都玩过。但如果仅仅是贪吃蛇游戏，那么它就没有世差含什么让人涨姿势的地方了。问题的关键在于，中的贪吃蛇真的很贪吃XD，它把矩形中出现的食物吃了个遍，然后华丽丽地把整个矩形填满，真心是看得赏心悦目。作为一个CSer，第一个想到的是，这东西是写程序实现的(因为，一般人干不出这事。果断是要让程序来干的)第二个想到的是，写程序该如何实现，该用什么算法?既然开始想了，就开始做。因为Talk is cheap，要show me the code才行。 (从耗子叔那学来的)开始之前，让我们再欣赏一下那只让人涨姿势的贪吃蛇吧：(如果下面的动态浏览效果不佳的话，可以右键保存下来查看)

       语言选择

       Life is short, use python!所以，根本就没多想，直接上python。最初版本先让你的程序跑起来首先，我们第一件要做的就是先不要去分析这个问题。你好歹先写个能运行起来的贪吃蛇游戏，然后再去想AI部分。这个应该很简单，cc++也就百来行代码(如果我没记错的话。不弄复杂界面，直接在控制台下跑)，python就更简单了，去掉注释和空行，5、行代码就搞定了。而且，最最关键的，这个东西网上肯定写滥了，你没有必要重复造轮子，去弄一份来按照你的意愿改造一下就行了。

       简单版本

       我觉得直接写perfect版本不是什么好路子。因为perfect版本往往要考虑很多东西，直接上来就写这个一般是bug百出的。所以，一开始我的目标仅仅是让程序去控制贪吃蛇运动，让它去吃食物，仅此而已。现在让我们来陈述一下最初的问题：

       在一个矩形中，每一时刻有一个食物，贪吃蛇要在不撞到自己的条件下，找到一条路(未必要最优)，然后沿着这条路运行，去享用它的美食。

       我们先不去想蛇会越来越长这个事实，问题基本就是，给你一个起点(蛇头)和一个终点(食物)，要避开障碍物(蛇身)，从起点找到一条可行路到达终点。

       我们可以用的方法有：BFSDFSA*只要有选择，就先选择最简单的方案，我们现在的目标是要让程序先跑起来，优化是后话。so，从BFS开始。我们最初将蛇头位置放入队列，然后只要队列非空，就将队头位置出队，然后把它四领域内的4个点放入队列，不断地循环操作，直到到达食物的位置。这个过程中，我们需要注意几点：

       1.访问过的点不再访问。

       2.保存每个点的父结点(即每个位置是从哪个位置走到它的，这样我们才能把可行路径找出来)。

       3.蛇身所在位置和四面墙不可访问。

       通过BFS找到食物后，只需要让蛇沿着可行路径运动即可。这个简单版本写完后，贪吃蛇就可以很欢快地运行一段时间了。看图吧：(不流畅的感觉来自录屏软件＠_＠)

       为了尽量保持简单，我用的是curses模块，直接在终端进行绘图。从上面的动态可以看出，每次都单纯地使用BFS，最终有一天，贪吃蛇会因为这种不顾后果的短视行为而陷入困境。而且，即使到了那个时候，它也只会BFS一种策略，导致因为当前看不到目标(食物)，认为自己这辈子就这样了，破罐子破摔，最终停在它人生中的某一个点，不再前进。(我好爱讲哲理XD)

       BFS+Wander

       上一节的简单版本跑起来后，我们认识到，只教贪吃蛇一种策略是不行的。它这么笨一条蛇，你不多教它一点，它分分钟就会挂掉的。所以，我写了个Wander函数，顾名思义，当贪吃蛇陷入困境后，就别让它再BFS了，而是让它随便四处走走，散散心，思考一下人生什么的。这个就好比你困惑迷茫的时候还去工作，效率不佳不说，还可能阻碍你走出困境；相反，这时候你如果放下手中的工作，停下来，出去旅个游什么的。回来时，说不定就豁然开朗，土地平旷，屋舍俨然了。Wander函数怎么写都行，但是肯定有优劣之分。我写了两个版本，一个是在可行的范围内，朝随机方向走随机步。也就是说，蛇每次运动的方向是随机出来的，总共运动的步数也是随机的。Wander完之后，再去BFS一下，看能否吃到食物，如果可以那就皆大欢喜了。如果不行，说明思考人生的时间还不够，再Wander一下。这样过程不断地循环搜笑进行。可是就像“随机过程随机过”一样，你“随机Wander就随机挂”。会Wander的蛇确实能多走好多步。可是有一天，它就会把自己给随机到一条死路上了。陷入困境还可以Wander，进入死胡同，那可没有回滚机制。所以，第二个版本的Wander函数，我就让贪吃蛇贪到底。在BFS无解后，告诉蛇一个步数step(随机产生step)，让它在空白区域以S形运动step步。这回运动方向就不随机了，而是有组织有纪律地运动。先看图，然后再说说它的问题：

       没错，最终还是挂掉了。S形运动也是无法让贪吃蛇避免死亡的命运。贪吃蛇可以靠S形运动多存活一段时间，可是由于它的策略是：

       

       1. 目标是食物时，走最短路径

       2. 目标是蛇尾时，走最长路径

       那第三种情况呢？与食物和蛇尾都没路径存在的情况下，这个时候本来就只是挑一步可行的步子来走，最短最长关系都不大了。至于人为地让蛇走S形，我觉得这不是什么好策略，最初版本中已经分析过它的问题了。 (当然，除非你想使用最最无懈可击的那个版本，就是完全不管食物，让蛇一直走S，然后在墙边留下一条过道即可。这样一来，蛇总是可以完美地把所有食物吃完，然后占满整个空间，可是就很boring了。没有任何的意思)

       上面还提到一个问题：因为食物是随机出现的，有没可能出现无解的布局？答案是：有。我运行了程序，然后把每一次布局都输出到log，发现会有这样的情况：

       

       # # # # # # #

       * * * * * #

       * * - 0 * #

       * * # + * #

       * * * * * #

       * * * * * #

       # # # # # # #

       其中，+号是蛇头，-号是蛇尾，*号是蛇身，0是食物，#号代表空格，外面一圈#号代表墙。这个布局上，食物已经在蛇头面前了，可是它能吃吗？不能！因为它吃完食物后，长度加1，蛇头就会把0的位置填上，布局就变成：

       

       # # # # # # #

       * * * * * #

       * * - + * #

       * * # * * #

       * * * * * #

       * * * * * #

       # # # # # # #

       此时，由于蛇的长度加1，蛇尾没有动，而蛇头被自己围着，挂掉了。可是，我们却还有一个空白的格子#没有填充。按照我们之前教给蛇的策略，面对这种情况，蛇头就只会一直追着蛇尾跑，每当它和食物有路径时，它让虚拟的蛇跑一遍发现，得到的新布局是不安全的，所以不会去吃食物，而是选择继续追着蛇尾跑。然后它就这样一直跑，一直跑。死循环，直到你按ESC键为止。由于食物是随机出现的，所以有可能出现上面这种无解的布局。当然了，你也可以得到完满的结局，贪吃蛇把整个矩形都填充满。上面的最后一个问题，暴力法是否能得到最优序列。从上面的分析看来，可以得到，但不能保证一定得到。最后，看看高瞻远瞩的蛇是怎么跑的吧：

       矩形大小*，除去外面的边框，也就是8*。Linux下录完屏再转成GIF格式的，优化前多M，真心是没法和Windows的比。用下面的命令优化时，有一种系统在用生命做优化的感觉：

       Shell

       convert output.gif -fuzz % -layers Optimize optimised.gif

       最后还是拿到Windows下用AE，三下五除二用序列合成的动态 (记得要在format options里选looping，不然是不会循环播放的)

       Last but not least如果对源代码感兴趣，请戳以下的链接：

       Code goes here

       另外，本文的贪吃蛇程序使用了curses模块，类Unix系统都默认安装的，使用Windows的童鞋需要安装一下这个模块，送上地址：

       需要curses请戳我

       以上的代码仍然可以继续改进(现在加注释不到行，优化一下可以更少)，

腾讯T2I-adapter源码分析（3）-训练源码分析

       随着stable-diffusion和midjourney等AI技术展现令人惊叹的艺术创作，人们对AI可控绘图的追求日益高涨。为提升AI图像生成的可控性，Controlnet和T2I-adapter等解决方案应运而生。系列文章将从T2I-adapter的源码出发，深入剖析其训练部分的实现原理。

       本篇我们将聚焦于训练源码的解析，通过代码结构的梳理，了解T2I-Adapter的训练流程。

       训练代码的运行涉及数据处理、模型加载、优化器设置以及实际训练过程。在第一部分，我们首先设置参数并加载数据，如DepthDataset，它从txt文件中读取、对应的深度图和文本描述。

       在模型加载阶段，我们区分了stable-diffusion模型和adapter。stable-diffusion模型加载时，其配置与推理阶段有所差异，如增加调度器参数、提高精度、调整分辨率和训练相关参数。adapter模型的加载则遵循推理过程中的初始化方法，通过构建不同模块来实现。

       训练过程中，adapter模型的关键结构包括下采样、卷积和ResnetBlock的使用，相比controlnet，T2I-adapter的参数更少，没有注意力层，这使得训练更为高效。模型放入GPU后，使用adamW优化器进行训练，同时设置学习率和数据保存路径。

       状态恢复部分，程序会判断是否从头开始或恢复训练，设置log信息。接下来，代码进入实际的训练循环，包括条件编码、隐藏状态生成、adapter结果附加至sd模型以及adapter梯度计算。

       loss函数定义在模型配置中，采用L2损失来衡量生成图像与给定时间点加噪ground truth的接近程度。训练过程中，loss计算和模型保存都在代码中明确体现。

       总的来说，T2I-adapter的训练源码展示了精细的结构和参数设置，确保了AI绘画的可控性和性能。在AI艺术的探索中，每一行代码都承载着技术进步的点滴痕迹。