LMStuido本地运行谷歌Gemma,设备要求低,操作简单!

Gemma已经介绍过了,另外还介绍了使用代码的方式和他进行聊天。

代码这种方式,比较适合搞开发的程序员,相对门槛较高。

从使用的角度来说,用起来也不方便。

今天介绍另外一种对任何人都更友好的方式,直接使用可视化软件和Gemma进行交流。

今天要用的软件叫lmstudio,一个支持一键运行众多大模型的软件。

这个软件之前有分享过。

它的最新版0.2.16已经支持Gemma模型,20亿和70亿参数的模型都支持。

这个软件挺不错,除了支持和大量开源模型聊天之外,还能启动兼容OpenAI的API服务。

普通用户和开发者都比较友好。

软件也有多平台支持,目前已经支持Windows,Mac(Apple Silicon M系列),Linux 这三个系统。

另外软件默认好像是调用CPU进行推理,所以设备门槛就降低了很多很多。

小模型推理速度也非常不错。

安装完软件之后(旧版用户记得升级),在主界面上就可以看到Google’s Gemma 2b Instruct 的卡片。在卡片中找到download,点一下就开始下载模型了。

整个过程非常简单,但是内网用户可能遇到无法下载的问题。

下载完成之后,在软件顶部下拉选择Gemma模型,等待模型加载完成就可以进行对话了。

在窗口底部User后面输入内容,就可以开始聊天了。

你可以直接发中文,它能听懂,但是他会用英文回答你。

这种中英互聊也是挺有意思的。如果你想让他回复中文,请明确地告诉他。

比如“请用中文回答我,你可以说中文么”。

如果每次聊天都要说一下肯定会比较麻烦,这个时候系统指令就派上用场了。

在System Prompt中输入“请说中文”。然后窗口底部会出现一个重新加载模型的按钮,点一下。

模型加载完成之后,就是纯中文了。

这个模型可以正确回答自我认知的问题。

也可以做一些简单知识问答。

但是如果你想和它进行意识层面的深入交流,那肯定是不行滴…

活脱脱就是一个还在擦鼻涕的小朋友的表现,没断奶的那种。

谷歌在一波AI浪潮中确实显得有点步履蹒跚…很想证明自己,但是感觉有点力不从心,老马还在X上疯狂吐槽谷歌ZZ正确。

不过从最新更新的模型来看,实用性上已经达到了一定的水准。

Bard更名Gemini ,升级pro之后,体验已经好了很多了。虽然目前网页上能体验到的还是1.0版本,但是在一些实际问题中已经可以和GPT4掰手腕了。

尤其是它的回答速度巨快,免费,没有限额,另外天然就融入了谷歌搜索引擎的结果,有些问题能回答得更全面和准确。

有空的话,我会就一些具体的问题,做一个免费版Gemini和收费GPT4的对比。

Gemma 作为谷歌的开源版Gemini,后续肯定还会有升级。所以,我们可以先学会怎么玩,以后只要坐等更新就可以了。

最后说一下软件官网:

https://lmstudio.ai

访问官网和下载模型,对国内的朋友来说可能会比较困难。

我已经将模型和软件传到网盘!

给公众号发送lms获取!

看到这里眼睛都有点累了吧,那就动动小手吧!哈哈!

 

小尾巴==========================
公众号:托尼不是塔克
交流群
知识星球
==============================

 



发表评论

您的电子邮箱地址不会被公开。 必填项已用 * 标注