1.AI����Դ��
2.腾讯T2I-adapter源码分析（1）-运行源码跑训练
3.AI视频高清修复工具来了，高清打开就能用，源码源码太方便了！大全
4.AI与PDE（七）：AFNO模型的高清源代码解析
5.腾讯T2I-adapter源码分析（2）-推理源码分析
6.腾讯T2I-adapter源码分析（3）-训练源码分析
AI����Դ��
年，AI视频领域竞争激烈，源码源码各大企业不断推出创新产品。大全仙落凡尘 源码从国际到国内，高清如Runway Gen2、源码源码Meta的大全Emu Video、Stability AI 的高清SVD 和 SVD-XT、Pika Labs的源码源码Pika 1.0等，中国科学院的大全GPT4Motion、字节跳动的高清PixelDance和MagicAnimate、阿里的源码源码Animate Anyone、腾讯的大全AnimateZero、美图的MiracleVision，以及由上海人工智能实验室、香港中文大学和斯坦福大学联合发布的AnimateDiff，众多AI视频工具共同构成了这一领域的丰富生态，但目前这些产品多处于概念阶段，未实现正式应用。
近期，阿里图像生成视频模型I2VGen-XL开源，进一步丰富了AI视频生成技术。作为一款专注于高清图像转视频的模型，I2VGen-XL由两个核心组件组成，分别针对语义一致性与清晰度进行优化。通过大规模混合视频与图像数据预训练，并在高质量数据集上微调，I2VGen-XL展现出了跨领域泛化能力，适用于多样化的数据生成需求。用户可在魔搭社区获取I2VGen-XL源代码，自由利用与调整模型。
与另一款AI动画项目Animate Anyone相比，I2VGen-XL侧重于从图像到视频的生成，聚焦于提高图像清晰度与语义一致性。而Animate Anyone则凭借一张人物静态图像与骨骼动画，生成生动逼真的动画片段，尤其擅长维持视频中人物外观的空间与时间一致性，避免时间抖动或闪烁等现象，适用于动画制作领域。
I2VGen-XL与Animate Anyone都是阿里在AI视频生成领域的杰出成果，它们虽然都为AI技术发展贡献了力量，但应用领域与解决的caffe 源码视频问题有所差异。I2VGen-XL旨在提升图像转视频的效率与质量，而Animate Anyone则专注于动画制作，强调动作连贯与逼真度。
I2VGen-XL模型设计采用了基础阶段与精炼阶段的分步策略。在基础阶段，模型接收静态图像输入，生成低分辨率视频；随后，低分辨率视频进入精炼阶段，通过文本提示指导，生成高分辨率且具有特定动态特征的视频。这一过程充分展现了模型在细节处理与动态生成方面的优势。
在效果评估中，I2VGen-XL模型在多个数据集上与当前最先进方法进行了比较。数据集包括公共数据集（如Web-VidM和LAION-M）与私有数据集，共计覆盖万个视频与亿张，用于优化与训练模型。评估指标涵盖视频的语义一致性、清晰度、时空连续性等关键性能，与人类生成视频以及其它顶级视频生成模型（如Gen-2和Pika）进行了对比。
实验结果显示，I2VGen-XL模型在保持语义一致性和提升视频清晰度方面表现卓越，尤其在动作丰富性、图像身份保持、空间细节与时间连续性等方面表现出色。模型还具备生成高分辨率视频的能力，并有效修复了视频中的细节问题。这些评估结果证明了I2VGen-XL在视频生成任务上的有效性和价值，展现了其在AI视频生成领域的强大潜力。
腾讯T2I-adapter源码分析（1）-运行源码跑训练
稳定扩散、midjourney等AI绘图技术，为人们带来了令人惊叹的效果，不禁让人感叹技术发展的日新月异。然而，AI绘图的可控性一直不是很好，通过prompt描述词来操控图像很难做到随心所欲。为了使AI绘制的图像更具可控性，Controlnet、T2I-adapter等技术应运而生。本系列文章将从T2I-adapter的源码出发，分析其实现方法。
本篇是第一篇，主要介绍源码的商家岛源码运行方法，后续两篇将以深度图为例，分别分析推理部分和训练部分的代码。分析T2I-Adapter，也是为了继续研究我一直在研究的课题：“AI生成同一人物不同动作”，例如：罗培羽：stable-diffusion生成同一人物不同动作的尝试（多姿势图），Controlnet、T2I-adapter给了我一些灵感，后续将进行尝试。
T2I-Adapter论文地址如下，它与controlnet类似，都是在原模型增加一个旁路，然后对推理结果求和。
T2I-Adapter和controlnet有两个主要的不同点，从图中可见，其一是在unet的编码阶段增加参数，而controlnet主要是解码阶段；其二是controlnet复制unit的上半部结构，而T2I-Adapter使用不同的模型结构。由于采用较小的模型，因此T2I-Adapter的模型较小，默认下占用M左右，而controlnet模型一般要5G空间。
首先确保机器上装有3.6版本以上python，然后把代码clone下来。随后安装依赖项，打开requirements.txt，可以看到依赖项的内容。然后下载示例，下载的会放到examples目录下。接着下载sd模型到model目录下，再下载T2I-Adapter的模型到目录下，模型可以按需到huggingface.co/TencentA...下载。这里我下载了depth和openpose。sd模型除了上述的v1-5，也还下载了sd-v1-4.ckpt。
根据文档，尝试运行一个由深度图生成的例子，下图的左侧是深度图，提示语是"desk, best quality, extremely detailed"，右侧是生成出来的。运行过程比较艰辛，一开始在一台8G显存的服务器上跑，显存不够；重新搭环境在一台G显存的服务器上跑，还是tourex 6.0 源码不够；最后用一台G显存的服务器，终于运行起来了。
接下来尝试跑openpose的例子，下图左侧是骨架图，提示词为"Iron man, high-quality, high-res"，右侧是生成的图像。
既然能跑推理，那么尝试跑训练。为了后续修改代码运行，目标是准备一点点数据把训练代码跑起来，至于训练的效果不是当前关注的。程序中也有训练的脚步，我们以训练深度图条件为例，来运行train_depth.py。
显然，习惯了，会有一些问题没法直接运行，需要先做两步工作。准备训练数据，分析代码，定位到ldm/data/dataset_depth.py，反推它的数据集结构，然后准备对应数据。先创建文件datasets/laion_depth_meta_v1.txt，用于存放数据文件的地址，由于只是测试，我就只添加两行。然后准备，图中的.png和.png是结果图，.depth.png和.depth.png是深度图，.txt和.txt是对应的文本描述。
文本描述如下，都只是为了把代码跑起来而做的简单设置。设置环境变量，由于T2I-Adapter使用多卡训练，显然我也没这个环境，因此要让它在单机上跑。而代码中也会获取一些环境变量，因此做简单的设置。
做好准备工作，可以运行程序了，出于硬件条件限制，只能把batch size设置为1。在A显卡跑了约8小时，uds协议源码完成，按默认的配置，模型保存experiments/train_depth/models/model_ad_.pth。那么，使用训练出来的模型试试效果，能生成如下（此处只是为了跑起来代码，用训练集来测试），验证了可以跑起来。
运行起来，但这还不够，我们还得看看代码是怎么写法，下一篇见。
PS：《直观理解AI博弈原理》是笔者写的一篇长文，从五子棋、象棋、围棋的AI演进讲起，从深度遍历、MAX-MIN剪枝再到蒙特卡罗树搜索，一步步介绍AI博弈的原理，而后引出强化学习方法，通俗易懂地介绍AlphaGo围棋、星际争霸强化学习AI、王者荣耀AI的一些强化学习要点，值得推荐。
AUTOMATIC的webui是近期很流行的stable-diffusion应用，它集合stable-diffusion各项常用功能，还通过扩展的形式支持controlnet、lora等技术，我们也分析了它的源码实现，写了一系列文章。
AI视频高清修复工具来了，打开就能用，太方便了！
阿潘在这里为各位分享一款解决视频高清修复问题的神器---Anime4KCPP_GUI。这是一款只需解压安装的视频放大修复软件，无需过多步骤，直接下载至本地即可使用。
请看修复前后的对比图（无法上传，仅凭文字描述，实际使用中效果明显）。
安装与操作指南如下：
一、软件安装
1、下载安装包至本地，解压后运行程序。
2、启动软件后会提示未找到ffmpeg，此时点击“选项”-“GUI”-“设置FFmpeg路径”，并确保路径指向已放置在软件目录下的ffmpeg.exe。
3、界面非中文？别担心，只需点击左上角的语言选项，选择中文界面，操作更加直观。
二、视频修复操作
1、将待修复视频直接拖入软件界面，点击“开始处理”。
2、输出目录默认为软件下的output文件夹，确保路径为纯英文，避免路径冲突导致错误。
3、设置页面提供默认或自定义选项，调整参数以适应不同需求。数值越高，处理速度越慢，对电脑配置要求越高。
关于Anime4KCPP_GUI工具的介绍：
这是一款基于Anime4KCPP算法的GUI工具，Anime4KCPP算法专注于图像超分辨率增强，利用机器学习和深度学习技术，将低分辨率图像转换为高分辨率和清晰度更高的图像。Anime4KCPP_GUI将此算法集成到一个易于使用的界面中，让使用者能够简便地提升图像质量。除基本放大和锐化功能外，还提供降噪和锯齿去除选项，进一步优化图像效果。作为开源项目，使用者可以自由访问、修改和分发源代码，以满足个人需求。
软件下载链接：[dwz.bagee.cn/pp] ，输入关键词：AK。
AI与PDE（七）：AFNO模型的源代码解析
本文旨在解析AFNO模型的源代码，帮助读者理解模型细节与主干结构。首先，AFNO模型的主干框架在afnonet.py文件中定义，通过类AFNONet实现。模型的核心功能封装在多个类与函数中，依据代码注释逐步解析。
在代码中，forward_features函数负责模型的核心逻辑，包括patch切割与mixing过程。这些操作由PatchEmbed类实现。位置编码self.pos_embed通过高斯初始化得到，增加模型的表示能力。
关键模块AFNO2d位于代码中，它基于FNO的原理，负责处理输入数据。AFNO2d模块在forward_features函数中通过循环调用，实现数据的转换与混合。
经过数个L layer处理后，模型进入类似解码器的结构，用于将中间结果映射为目标结果。这一过程通过self.head(x)实现，以解决特定分类问题。
本文通过梳理代码流程与结构图，直观展示了AFNO模型的工作原理。读者可参考AFNO的GitHub源代码与论文，深入理解细节。后续文章将继续探讨基于AFNO模型框架的其他应用，如FourCastNet。
腾讯T2I-adapter源码分析（2）-推理源码分析
随着stable-diffusion和midjourney展示出AI绘图的惊人潜力，人们对技术进步的惊叹不已。然而，AI绘图的可控性一直是痛点，仅凭描述词控制图像并不尽如人意。为增强AI图像的可控性，Controlnet和T2I-adapter等技术应运而生。本文将通过解析T2I-adapter的推理源码，揭示其工作原理。
本文将深入剖析推理部分的代码，以便理解T2I-Adapter的实际操作。使用如下的命令行指令进行推理，如test_adapter.py，它需要指定条件类型、深度图路径、前置处理器类型、提示语、模型和缩放尺寸等参数。
在test_adapter.py中，主要分为参数读取、模型加载和推理运算三个步骤。参数读取部分包括检查支持的条件、构建提示语，以及根据输入选择前置处理。模型加载涉及stable-diffusion和adapter模型，前者通过配置加载，后者根据输入条件构造Adapter模型。
加载stable-diffusion模型时，代码引用了来自github的CompVis/stable-diffusion库，其中关键部分包括加载参数、模型配置以及UNetModel的改动。Adapter模型的构造与论文中的结构图一致，通过ResnetBlock的组合实现。
在推理过程中，先对输入进行预处理，如深度图的处理。随后，get_adapter_feature和diffusion_inference两个核心函数调用adapter模型，与stable-diffusion模型结合进行特征融合和采样。最后，DDIM采样器接收并处理adapter特征，最终生成图像。
通过以上分析，我们逐步揭示了T2I-adapter的推理机制。后续文章将探讨训练代码。在游戏开发中，AI生成游戏角色动作的应用，如AUTOMATIC，展示了这种技术的实际应用，以解决美术资源匮乏的问题。
腾讯T2I-adapter源码分析（3）-训练源码分析
随着stable-diffusion和midjourney等AI技术展现令人惊叹的艺术创作，人们对AI可控绘图的追求日益高涨。为提升AI图像生成的可控性，Controlnet和T2I-adapter等解决方案应运而生。系列文章将从T2I-adapter的源码出发，深入剖析其训练部分的实现原理。
本篇我们将聚焦于训练源码的解析，通过代码结构的梳理，了解T2I-Adapter的训练流程。
训练代码的运行涉及数据处理、模型加载、优化器设置以及实际训练过程。在第一部分，我们首先设置参数并加载数据，如DepthDataset，它从txt文件中读取、对应的深度图和文本描述。
在模型加载阶段，我们区分了stable-diffusion模型和adapter。stable-diffusion模型加载时，其配置与推理阶段有所差异，如增加调度器参数、提高精度、调整分辨率和训练相关参数。adapter模型的加载则遵循推理过程中的初始化方法，通过构建不同模块来实现。
训练过程中，adapter模型的关键结构包括下采样、卷积和ResnetBlock的使用，相比controlnet，T2I-adapter的参数更少，没有注意力层，这使得训练更为高效。模型放入GPU后，使用adamW优化器进行训练，同时设置学习率和数据保存路径。
状态恢复部分，程序会判断是否从头开始或恢复训练，设置log信息。接下来，代码进入实际的训练循环，包括条件编码、隐藏状态生成、adapter结果附加至sd模型以及adapter梯度计算。
loss函数定义在模型配置中，采用L2损失来衡量生成图像与给定时间点加噪ground truth的接近程度。训练过程中，loss计算和模型保存都在代码中明确体现。
总的来说，T2I-adapter的训练源码展示了精细的结构和参数设置，确保了AI绘画的可控性和性能。在AI艺术的探索中，每一行代码都承载着技术进步的点滴痕迹。
大神用Python做个AI出牌器，实现财富自由附源码
在互联网上，我注意到一个有趣的开源项目——快手团队的DouZero，它将AI技术应用到了斗地主游戏中。今天，我们将通过学习如何使用这个原理，来制作一个能辅助出牌的欢乐斗地主AI工具，也许它能帮助我们提升游戏策略，迈向财富自由的境界。 首先，让我们看看AI出牌器的实际运作效果: 接下来，我们逐步构建这个AI出牌器的制作过程:核心功能与实现步骤
UI设计：首先，我们需要设计一个简洁的用户界面，使用Python的pyqt5库，如下是关键代码:
识别数据：在屏幕上抓取特定区域，通过模板匹配识别AI的手牌、底牌和对手出牌，这部分依赖于截图分析，核心代码如下:
地主确认：通过截图确定地主身份，代码负责处理这一环节:
AI出牌决策：利用DouZero的AI模型，对每一轮出牌进行判断和决策，这部分涉及到代码集成，例如:
有了这些功能，出牌器的基本流程就完成了。接下来是使用方法:使用与配置
环境安装：你需要安装相关库，并配置好运行环境，具体步骤如下:
位置调整：确保游戏窗口设置正确，AI出牌器窗口不遮挡关键信息:
运行测试：完成环境配置后，即可启动程序，与AI一起战斗:
最后，实际操作时，打开斗地主游戏，让AI在合适的时间介入，体验AI带来的智慧策略，看看它是否能帮助你赢得胜利！