Qwen一键运行包,低配显卡可用,支持角色扮演!

上一篇文章,介绍了阿里开源的国产大语言模型Qwen!

这次更新,从各个维度来说,都非常优秀!

一方面是拉高了天花板,一方面压低了地平线

720亿的天花板我们是摸不到了。18亿的迷你版,大部分人都能轻松驾驭了。

只需要2G显存,上古的750ti显卡,都可以一战了!

所以,这个必须出一个一键包啊!

在3060上实测,加载模型前1.1GB,加载模型之后3.5GB,比2GB多一点,但是确实差来不多了。

除了显存需求低之外,这次官方特别强调了“系统指令跟随” 这个东西。

通过调整系统指令,可以实现角色扮演,语言风格迁移,任务设定,和行为设定等能力。

这也是我比较喜欢的一个功能,上次测试过72B模型,角色扮演能力比ChatGPT都还要强。

1.8B版本虽然没有那么强,但是同样拥有这一项能力。

但是github上demo并没有提供系统指令的设置功能。

我手动添加了一个输入框和设置按钮。

只要在系统提示词这里输入特定的描述,点击设置系统提示词,就会立马生效。

命令行没有提供输入功能,而是内置了一个系统提示词,懂代码的也可以轻松修改。

上面的样式的功能。只要获取一键运行包,解压,双击run_web 或者run_cli即可体验。

一键离线运行包,一键包含了所有内容,包括18亿参数的模型,开箱即用。

当然,这个一键运行包支持Qwen系列的所有模型。如果你的显卡比较牛逼,也可以自己替换更强的模型。

从18亿量化版,到720亿完整版,任君选择!

替换起来也非常简单。

只要下载模型到本地,将整个模型文件夹放到models文件夹。

然后复制这个文件的名字,打开web_demp.py这个文件。

修改22行,把名字粘贴在红色框处,Ctrl+S保存!

再次运行,就会加载你自己设置的模型了。

软件获取方式:给公众号发送“qwen” 即可!

如果要其它Qwen模型,可以发送“jarvis” ,这个地址上我存了一些模型!

直接下载模型,放到jarvis一键包的models目录,也同样也可以运行。

用一台中等配置的电脑,打造一个纯离线的私人AI助手的愿望,可能很快就能实现了。

玩起来吧,其他就不多说了。

 

小尾巴==========================
公众号:托尼不是塔克
交流群
知识星球
==============================

 



发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

解决 : *
28 ⁄ 14 =