ǧ??Դ??
大约两天前,阿里发布了一个重要消息。千存源码
他们开源了一个名为通义千问-7B-Chat的千存源码低配版大语言模型。
这可能是千存源码国内首个由大型企业开源的大语言模型。
虽然它是千存源码低配版,但在各类测试中表现优秀。千存源码溯源码燕窝原码
官方介绍称,千存源码Qwen-7B是千存源码基于Transformer的大语言模型,在超大规模的千存源码预训练数据上进行训练。预训练数据类型多样,千存源码包括大量网络文本、千存源码专业书籍、千存源码代码等。千存源码同时,千存源码基于Qwen-7B,千存源码我们使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。本仓库为Qwen-7B-Chat的仓库。
官方还提供了许多测试结果。
例如,在C-Eval验证集上的得分对比显示,与同级别的羊驼模型相比,其得分“吊打”对手,甚至比热门的开源模型ChatGLM2也要高出不少。
此外,还有英文测评、代码测评、数学测评、长序列测评和工具使用能力测评等,全方位碾压同类亿参数模型,在即将开源的用于评估工具使用能力的自建评测基准上,居然战胜了GPT-4。源码后台不显示
不管怎样,大型企业开源的东西总不会太差。这可能是最好的小型中文大语言模型。
阿里已经亮出态度,接下来压力给到百度、讯飞、华为... 哈哈~~
既然阿里都开源了,我们自然就笑纳了,接下就在本机跑一个试试。
以下是我在Win RTX G上完整的安装记录。玩过的可以跳过,没玩过的可以当个参考。
我的安装思路完全来自官网指引:
官方的安装指引看起来非常简单。只需安装modelscope这个包,然后运行一段Python代码即可。然而,世界上看似简单的东西,做起来往往都不那么简单。一步一坑是常态,踩过了,就简单了。
常规流程1:创建并激活虚拟环境。我们还是用常用的 MiniConda 创建一个虚拟的Python环境。
2. 安装modescope基础库
3. 编写Python代码
不需要自己编写,直接抄官方代码。
创建一个test.py文件,然后将代码粘贴到里面,Ctrl+S 保存代码。
4. 运行代码
运行代码很简单。上面已经激活了虚拟环境。烟花源码特效视频然后用cd命令,进入到代码所在目录。然后用Python运行就可以了。
运行代码之后,会自动联网下载一个G的模型文件。
阿里毕竟是做服务器的,我在杭州,这速度真的是相当给力。不用魔法,就能飞起,这是搞国外项目,永远享受不到的待遇啊。
按正常的节奏来说,下载完大模型,然后运行代码。通义千问大模型就会乖乖的回答我预设的两个问题了。
但是...不可能这么顺利。
其实还有很多包还没装完,我就按我出错的顺序和解决方法,一个个来记录吧。
踩坑记录1:缺少transformers包
提示信息如下:
解决方法很简答,运行提示中的命令即可:
2. 缺少tiktoken包
提示信息如下:
解决方法:
3. 缺少accelerate包
提示信息如下:
解决方法:
4. 爆显存了OutOfMemory
终于所有包都装完了。
再次运行test.py
软件有条不紊的运行,好像有戏。可惜,最终还是卡在硬件配置上了。
见到了熟悉的OutOfMemory。
在大语言模型面前,G显存,啥都不是分合买卖指标源码。
查了一下资料,BF需要.2G显存才可以运行...
遇到这种情况,没啥办法,只能用量化。官方也提供了4bit量化的代码,直接拷贝过来,搞了一个test2.py文件。
5. 运行4bit量化代码出错
错误提示如下:
大概就是量化的时候需要用到一个叫bitsandbytes的依赖包。
那就安装一下呗:
安装非常简单快速,没有任何问题。
6. 量化包不支持Windows
安装完依赖之后运行test2.py 很快就收到了如下错误:
这句话对于一个英语只过了4级的人有点难度啊。什么叫尽管有可用的GPU但是CUDA设置失败.... 你这句式是不是等价于,你有一个女朋友,但是不能用!
查了一下资料,bitsandbytes库目前仅支持Linux发行版,Windows目前不受支持。。。
还好上面的资料已经过时了,其实已经有大佬做了Windows版本。
7. Windows版量化包版本太低
为了解决上面一个问题,找到了一个Windows版本的依赖包。
安装命令如下:
安装完成之后,本以为完事大吉了。
还是太年轻...
错误提示如下:
这个问题出在两个方面,一个是这个包好像只支持8bit量化,而我代码里有用的是4bit。另外一个问题就是错误日志中提到的版本太低。
没办法,个性推荐源码大全又是一顿乱找,狂开N个网页。
最后最终找到了可以用的版本。
安装命令:
终于安装成功0.版本
8 缺少transformers_stream_generator包
习惯了,习惯了。上面的都搞完了,又出现缺包提示。
解决方法:
9. Numpy不可用。
所有包装完之后,运行test2.py,眼看这要成功了,又跳出一个“Numpy is not available” 。
用pip list 查看了一下包列表,明明有这个包,怎么就不能用呢?
不管了,直接更新有一把看看。
把Numpy升级到最新版 :
安装过程出现红色提示:
内心凉了一半。
提示里面说modelscope需要的是1., 但是我装了1..2... 最怕就是这种版本问题了...
我也不知道该怎么排查,想着就死马当活马医了。
最后...居然成功了,这是~~什么道理~~!
通过日志可以看到,AI已经做出了回答。答案也正确且通顺。幸福来的太突然...
到这里,我就成功的在我的Rtx G上面把“通义千问”给跑起来了。理论上所有的8G N卡也能跑起来!
成功后,心态就平稳很多了,半天功夫没白费,美滋滋。
趁热打铁,抽个几分钟来测试一下运行速度。
加载模型用了好几分钟,回答问题大概只用了几秒钟。还不错啊,这速度基本能用了。
按上面的方式运行代码,AI只能回答预设的几个问题。这样搞起来就有点不爽,每次提问,还得改源代码,重新加载模型...
所以我又花了几分钟,写了一个WebUI。
界面如下:
写这个界面和功能,大概只用了行Python代码。Gradio这东西用起来确实爽,怪不得那么多开源项目都用这个来做界面。
心满意足了!!!
有没有看到这里,还是一头雾水的人?哈哈!
那么我就提供一个无需配置,无需登录,直接可以体验的网址把:
通义千问官方主页:
有兴趣的可以去玩一玩!
收工!
微信小程序做一个需要多少钱?
做一个微信小程序通常需要几百到几万不等。如今微信小程序越来越流行,许多商家都想通过微信小程序来吸引顾客,提高收入,但是许多人不知道制作微信小程序这个过程需要花费多少钱,从而有些不敢尝试。制作小程序需要花多少钱,通常和以下几个因素有关,这些因素决定了需要多少的花费。
1、功能
功能是影响小程序开发价格的重要因素之一,小程序包含的功能越多,费用也就越高,所以具体的费用,得在确定完需要什么功能之后,才能确定。
2、开发方式
小程序开发方式可分为两类:一是第三方平台开发,二是定制开发。
第三方平台开发:第三方平台开发具体价格在一千至一万元左右。
定制开发:根据企业和商家个人的需求,进行每一个页面、每一项功能的单独开发,因此开发难度较高,耗时较长,具体费用和需求有关,没有一个特别固定的价格。
3、认证费用
小程序必须经过认证之后才能发布,需要向腾讯官方缴纳一笔认证费用,费用为元。但如果企业已经申请开通过公众号,并已经经过企业认证,就无需再次缴纳费用。
4、服务器租赁
虽然小程序是基于微信运行的,但和网站一样,同样需要配置服务器。服务器的费用根据其配置、带宽等而定。
凡科轻站小程序,专为中小微企业提供的一站式高效微信小程序开发工具,提供海量小程序模板,仅需简单、便捷、直观的拖曳操作,即可轻松打造个性化的专属小程序,从而为企业精准导流,提升营销转化效率。
0代码,新手小白也能用!点击这里获取简单易用的小程序制作工具:凡科轻站小程序
amd+华硕m4n se+航嘉冷静王钻石Win7版应该配什么千元内的显卡最好?
HD吧。要A卡的话这是千元内最好的选择,
迪兰恒进 VORTEX edition或者蓝宝石 VAPOR-X吧。它们是最高端的,做工和性能都是中最强的,散热性能也是最好的。VORTEX的默认性能最高但是超频能力略微逊色于VAPOR-X。而VAPOR-X则是超频能力最好的。当然基准性能同样是顶级的。价格基本相当左右。
看情况定吧。
其实楼上说的GTS确实比好。不过w的电源真是悲剧。都很危险呢。不要超频,默认状态下应该没什么问题。
--------------分割线-------------
补充几句吧。其实X4 最高可以带动GTX级别的显卡,甚至HD都可以带。但是LZ的电源实在是要命。W只能是刚好应付HD+X4 而已。如果带GTS都立刻完蛋。
建议还是换块W的电源吧。比方说航嘉DH6什么的。也不贵、这样可以带好得多的显卡,或者把 VAPOR-X大幅超频,可以获得好得多的性能,而且也稳定得多。
做一个小程序多少钱
目前市场上小程序制作主要有三种方式,如下:
1、小程序模板套用
2、第三方平台拖拽制作
3、小程序按要求定制
第1种,模板小程序-价格比较低,一般几百到几千不等,好在操作简单,方便,能够快速上线;不好在于不好升级换代,按年收费,而且很多没有相关小程序版权。
第2种,小程序第三方平台拖拽制作-价格中等,一般几百到几千不等。好在于方便,能够快速上线;可以选择小程序的样式很多,可以根据自己想法去设计自己小程序,缺点在于按年收费,没有版权。
第3种,小程序按要求定制-价格比较高,一般5万到十几万.好在功能是按照你的要求定制开发的,相关小程序开发的知识产权。缺点在于价格高,定制版的基本费用在上万元到十几万不等,钱少勿入。
通常来讲,一般常用的小程序并不贵,价格大概在-之间,多则上万,特别的简单的小程序可能几百元就搞定啦,而功能复杂的小程序,一般需要开发定制,由于人工成本比较高,价格一般都是几万起步。
2024-12-23 23:44
2024-12-23 23:18
2024-12-23 23:13
2024-12-23 22:54
2024-12-23 22:30