aionԴ??
年,AI视频领域竞争激烈,源码各大企业不断推出创新产品。源码从国际到国内,源码如Runway Gen2、源码Meta的源码街拍 vip:源码Emu Video、Stability AI 的源码SVD 和 SVD-XT、Pika Labs的源码Pika 1.0等,中国科学院的源码GPT4Motion、字节跳动的源码PixelDance和MagicAnimate、阿里的源码Animate Anyone、腾讯的源码AnimateZero、美图的源码MiracleVision,以及由上海人工智能实验室、源码香港中文大学和斯坦福大学联合发布的源码AnimateDiff,众多AI视频工具共同构成了这一领域的丰富生态,但目前这些产品多处于概念阶段,未实现正式应用。
近期,阿里图像生成视频模型I2VGen-XL开源,进一步丰富了AI视频生成技术。作为一款专注于高清图像转视频的模型,I2VGen-XL由两个核心组件组成,分别针对语义一致性与清晰度进行优化。通过大规模混合视频与图像数据预训练,并在高质量数据集上微调,I2VGen-XL展现出了跨领域泛化能力,适用于多样化的数据生成需求。用户可在魔搭社区获取I2VGen-XL源代码,查看hex文件源码自由利用与调整模型。
与另一款AI动画项目Animate Anyone相比,I2VGen-XL侧重于从图像到视频的生成,聚焦于提高图像清晰度与语义一致性。而Animate Anyone则凭借一张人物静态图像与骨骼动画,生成生动逼真的动画片段,尤其擅长维持视频中人物外观的空间与时间一致性,避免时间抖动或闪烁等现象,适用于动画制作领域。
I2VGen-XL与Animate Anyone都是阿里在AI视频生成领域的杰出成果,它们虽然都为AI技术发展贡献了力量,但应用领域与解决的问题有所差异。I2VGen-XL旨在提升图像转视频的效率与质量,而Animate Anyone则专注于动画制作,强调动作连贯与逼真度。
I2VGen-XL模型设计采用了基础阶段与精炼阶段的分步策略。在基础阶段,模型接收静态图像输入,生成低分辨率视频;随后,低分辨率视频进入精炼阶段,通过文本提示指导,生成高分辨率且具有特定动态特征的视频。这一过程充分展现了模型在细节处理与动态生成方面的优势。
在效果评估中,I2VGen-XL模型在多个数据集上与当前最先进方法进行了比较。数据集包括公共数据集(如Web-VidM和LAION-M)与私有数据集,共计覆盖万个视频与亿张,用于优化与训练模型。站内聊天源码评估指标涵盖视频的语义一致性、清晰度、时空连续性等关键性能,与人类生成视频以及其它顶级视频生成模型(如Gen-2和Pika)进行了对比。
实验结果显示,I2VGen-XL模型在保持语义一致性和提升视频清晰度方面表现卓越,尤其在动作丰富性、图像身份保持、空间细节与时间连续性等方面表现出色。模型还具备生成高分辨率视频的能力,并有效修复了视频中的细节问题。这些评估结果证明了I2VGen-XL在视频生成任务上的有效性和价值,展现了其在AI视频生成领域的强大潜力。
腾讯T2I-adapter源码分析(1)-运行源码跑训练
稳定扩散、midjourney等AI绘图技术,为人们带来了令人惊叹的效果,不禁让人感叹技术发展的日新月异。然而,AI绘图的可控性一直不是很好,通过prompt描述词来操控图像很难做到随心所欲。为了使AI绘制的图像更具可控性,Controlnet、T2I-adapter等技术应运而生。本系列文章将从T2I-adapter的源码出发,分析其实现方法。
本篇是第一篇,主要介绍源码的运行方法,后续两篇将以深度图为例,电话直接拨打源码分别分析推理部分和训练部分的代码。分析T2I-Adapter,也是为了继续研究我一直在研究的课题:“AI生成同一人物不同动作”,例如:罗培羽:stable-diffusion生成同一人物不同动作的尝试(多姿势图),Controlnet、T2I-adapter给了我一些灵感,后续将进行尝试。
T2I-Adapter论文地址如下,它与controlnet类似,都是在原模型增加一个旁路,然后对推理结果求和。
T2I-Adapter和controlnet有两个主要的不同点,从图中可见,其一是在unet的编码阶段增加参数,而controlnet主要是解码阶段;其二是controlnet复制unit的上半部结构,而T2I-Adapter使用不同的模型结构。由于采用较小的模型,因此T2I-Adapter的模型较小,默认下占用M左右,而controlnet模型一般要5G空间。
首先确保机器上装有3.6版本以上python,然后把代码clone下来。随后安装依赖项,打开requirements.txt,可以看到依赖项的内容。然后下载示例,下载的会放到examples目录下。接着下载sd模型到model目录下,爱淘网站源码再下载T2I-Adapter的模型到目录下,模型可以按需到huggingface.co/TencentA...下载。这里我下载了depth和openpose。sd模型除了上述的v1-5,也还下载了sd-v1-4.ckpt。
根据文档,尝试运行一个由深度图生成的例子,下图的左侧是深度图,提示语是"desk, best quality, extremely detailed",右侧是生成出来的。运行过程比较艰辛,一开始在一台8G显存的服务器上跑,显存不够;重新搭环境在一台G显存的服务器上跑,还是不够;最后用一台G显存的服务器,终于运行起来了。
接下来尝试跑openpose的例子,下图左侧是骨架图,提示词为"Iron man, high-quality, high-res",右侧是生成的图像。
既然能跑推理,那么尝试跑训练。为了后续修改代码运行,目标是准备一点点数据把训练代码跑起来,至于训练的效果不是当前关注的。程序中也有训练的脚步,我们以训练深度图条件为例,来运行train_depth.py。
显然,习惯了,会有一些问题没法直接运行,需要先做两步工作。准备训练数据,分析代码,定位到ldm/data/dataset_depth.py,反推它的数据集结构,然后准备对应数据。先创建文件datasets/laion_depth_meta_v1.txt,用于存放数据文件的地址,由于只是测试,我就只添加两行。然后准备,图中的.png和.png是结果图,.depth.png和.depth.png是深度图,.txt和.txt是对应的文本描述。
文本描述如下,都只是为了把代码跑起来而做的简单设置。设置环境变量,由于T2I-Adapter使用多卡训练,显然我也没这个环境,因此要让它在单机上跑。而代码中也会获取一些环境变量,因此做简单的设置。
做好准备工作,可以运行程序了,出于硬件条件限制,只能把batch size设置为1。在A显卡跑了约8小时,完成,按默认的配置,模型保存experiments/train_depth/models/model_ad_.pth。那么,使用训练出来的模型试试效果,能生成如下(此处只是为了跑起来代码,用训练集来测试),验证了可以跑起来。
运行起来,但这还不够,我们还得看看代码是怎么写法,下一篇见。
PS:《直观理解AI博弈原理》是笔者写的一篇长文,从五子棋、象棋、围棋的AI演进讲起,从深度遍历、MAX-MIN剪枝再到蒙特卡罗树搜索,一步步介绍AI博弈的原理,而后引出强化学习方法,通俗易懂地介绍AlphaGo围棋、星际争霸强化学习AI、王者荣耀AI的一些强化学习要点,值得推荐。
AUTOMATIC的webui是近期很流行的stable-diffusion应用,它集合stable-diffusion各项常用功能,还通过扩展的形式支持controlnet、lora等技术,我们也分析了它的源码实现,写了一系列文章。
网游单机版目前行情
网络游戏单机版目前的行情呈现出蓬勃发展的态势。在年,《传奇》源代码泄露后,私服行业迅速兴起。随后,“网游单机版”作为建立在私服之上的模式,与私服行业紧密相连。这种模式主要通过获得私服服务器进行个人单机架设,同时也可以通过自行研发制作模拟器来进行私服活动。随着网络技术的飞速发展和经济利益的驱动,私服事业蓬勃发展,网游单机版也不断壮大。
当前,市面上已知的网络游戏单机版达多款,网页单机游戏更是有多款,种类繁多。以下介绍几款热门的网游单机版本:
魔兽世界安装方式:“一键端”,目前版本包括台服4.0.6、国服3.3.5、国服3.3.2和台服4.0.3。GM系统方面,已编译了大量的代码文件,并且已知的GM工具包括大芒果GM工具等。外网系统方面,支持简单外网架设。
诛仙安装方式:“手工架设”,目前版本为免费。GM系统方面,已知的GM工具包括iwebphp等。外网系统同样支持简单外网架设。
诛仙2安装方式为“手工架设”,目前版本免费。架设环境包括Linux、Colinux、Mc-slax、CENTOS等系统。神魔大陆网游单机版本包括MC诛仙2私服职业双数据库纯端、Mysql/Mssql任意切换!诛仙职业服务端和诛仙职业纯端等。
诛仙2·末日与曙光安装方式为“手工架设、一键端、纯端”,目前版本免费+。架设环境支持RedHat Linux、Colinux、CENTOS等系统。蓝色畅想诛仙职业全能双数据库Mysql+Mssql端,配套客户端和工具齐全。由朔儿制作,支持正版请于下载后小时内删除,版权归属完美时空。
神魔大陆安装方式为“手工架设”,目前版本为免费公测版本。神魔大陆网游单机版本包括MC神魔大陆Mysql一键镜像、Mysql神魔大陆纯端,以及配套客户端和工具齐全。架设环境支持REDHAT AS4系统。
冒险岛安装方式为“一键端”,官方网站为mxd.sdo。目前版本包括免费/、完美、商业。GM系统已知的GM工具包括GM小助手1.4等。外网系统同样支持简单外网架设。
传奇世界安装方式为“一键端”,目前版本包括免费1.天元心法等、收费1.“战无不胜”。内置GM系统包括3K引擎。外网系统支持简单外网架设。
永恒之塔安装方式为“一键端”,官方网站为aion.sdo。目前版本包括免费2.0龙战前传等、收费2.1黄金时代。GM系统已知有多款GM工具。外网系统同样支持简单外网架设。
综上所述,网络游戏单机版的市场现状呈现出多样化和专业化的趋势,不断吸引着玩家和开发者的关注,成为了游戏行业中的一个重要分支。
2024-11-18 21:20
2024-11-18 20:28
2024-11-18 20:05
2024-11-18 19:55
2024-11-18 19:37