InstantID:又一个AI绘画更新了,也很牛,快来体验一下吧!

年底了,一个比一个拼命,一个比一个猛啊。

继阿里云的FaceChain,腾讯的PhotoMaker之后,InstantX Team的InstantID也开源了。

玩法更多,效果更好,可控性更强。

详细介绍,参考《AI绘画:年底这么卷啊?又来一个牛叉的项目!》。

GPT4的概括性总结如下。

InstantID 是一个先进的图像生成工具,旨在高效、准确地保持人物身份特征,同时生成具有不同风格和姿势的图像。它特别适合于那些需要保持人物身份一致性的场景,如个性化图像合成。

关键特点和优势包括:

1.高效和轻量级InstantID 是一个轻量级、可插拔的适配器,可以赋予预训练的文本到图像扩散模型以 ID 保存的能力。

2.高保真度和文本控制力

InstantID 利用强语义的人脸特征,通过特定的交叉注意力机制和 IdentityNet 来增强 ID 的保真度以及文本的控制力。

3.兼容性

InstantID 与目前社区内的文生图基础模型、LoRAs、ControlNets 等完全兼容,可以在推理过程中零成本地保持人物 ID 属性。

4应用范围广泛

从实验结果来看,InstantID 不仅超越了目前基于单张图片特征进行嵌入的方法,还能在多视角生成、ID 插值、多 ID 和多风格合成等方面发挥出色的性能。

今天主要是的带大家快速体验在线体验一下。

目前有两个可以在线体验的Demo,一个是托管在HF上面,一个是托管在replicate 上面。

先来看一下HF上面的例子。

官方都帮你写好了,使用步骤。

1.上传一张人物图片。对于多人图片,我们只会检测最大的脸部。确保脸部不太小,且没有被显著遮挡或模糊。

2.(可选)上传另一张人物图片作为参考姿势。如果没有上传,我们将使用第一张人物图片来提取特征标记。如果你在第一步使用了裁剪过的脸部照片,建议上传它以提取新的姿势。

3.输入文本提示,就像在普通的文本到图像模型中做的那样。

4.点击提交按钮开始定制。

5.与你的朋友分享你定制的照片,享受乐趣😊!

如果你还没有准备好自己照片,那么可以用网页自带的照片和参数,一键体验。

只要点击网页底部Examples中的任何一行,就会自动帮你完成内容填充。

已经准备的素材包含马斯克,奥特曼,李开复,还有两位AI技术大佬YannLeCun和schmidhuber 。

随着研发大佬越来越有趣,各位巨佬也是频繁出现在各种演示项目里。

比如选一张马斯克的照片,然后把风格改为火星(Mars),然后点一下确认(Submit)。

稍等片刻就可以看到在火星的的马斯克了。

除了根据上传图片和提示词,生成不同风格的图片之外。

还可以上传一张姿态图片,让生成的图片保持姿态上的一致。

玩过Controlnet的应该很熟悉,只是现在简单了很多。直接传一下,点一下就好了。

比如,上传一张竖屏的半身图片之后,就可以得到一个这样的马斯克:

另外和PhotoMaker类似,这个项目也可以进行各种参数的设置。

上图中的参数都可以自由调整,一般情况下默认即可,最多改一下风格。

如果你要深入了解,可以去研究一下AI绘画,参数基本都是共通的。

如果你要创造其他类型照片,可以自己修改提示词 ,在“a man” 后面加内容就可以了。

如果你想生成一个女的,那就把”a man” 改成 “a woman” 。

另外,再给大家一些使用的小提示:

1.如果你对相似度不满意,增加 controlnet_conditioning_scale(IdentityNet)和 ip_adapter_scale(Adapter)的权重。

2.如果生成的图像过度饱和,降低 ip_adapter_scale。如果不起作用,减少 controlnet_conditioning_scale。

3.如果文本控制不符合预期,降低 ip_adapter_scale。找到一个好的基础模型总是有所不同。

接下来介绍一下replicate的用法。

打开演示网址,立马就可以看到我们的顶级网红马斯克。

你可以直接按Run,重新生成。也可以按步骤,在②的地方删除原图,上传一张新的图片,点击Run就好了。

当然也可以修改一下参数。

相比上一个演示页面,这里把风格省掉了,直接写在提示词里面了。另外这个页面上多了两个选项,可以自定义宽度和高度。

网页演示应该是还没有展示全部的内容,我会继续跟进!

今天的主要目的是给大家快速体验一下,后续有时间,在自己电脑上安装一下,然后做个本地的一键运行包。

网址:

https://instantid.org/
https://huggingface.co/spaces/InstantX/InstantID
https://replicate.com/zsxkib/instant-id

另外,我会把各种演示网址集合起来放在:

https://github.com/dream80/TonyDemo
https://github.com/dream80/TonyColab

收工收工!

 

小尾巴==========================
公众号:托尼不是塔克
交流群
知识星球
==============================