InstantID:又一个AI绘画更新了,也很牛,快来体验一下吧!
年底了,一个比一个拼命,一个比一个猛啊。
玩法更多,效果更好,可控性更强。
详细介绍,参考《AI绘画:年底这么卷啊?又来一个牛叉的项目!》。
GPT4的概括性总结如下。
关键特点和优势包括:
2.高保真度和文本控制力
InstantID 利用强语义的人脸特征,通过特定的交叉注意力机制和 IdentityNet 来增强 ID 的保真度以及文本的控制力。
3.兼容性
InstantID 与目前社区内的文生图基础模型、LoRAs、ControlNets 等完全兼容,可以在推理过程中零成本地保持人物 ID 属性。
4应用范围广泛
从实验结果来看,InstantID 不仅超越了目前基于单张图片特征进行嵌入的方法,还能在多视角生成、ID 插值、多 ID 和多风格合成等方面发挥出色的性能。
今天主要是的带大家快速体验在线体验一下。
目前有两个可以在线体验的Demo,一个是托管在HF上面,一个是托管在replicate 上面。
先来看一下HF上面的例子。
官方都帮你写好了,使用步骤。
1.上传一张人物图片。对于多人图片,我们只会检测最大的脸部。确保脸部不太小,且没有被显著遮挡或模糊。
2.(可选)上传另一张人物图片作为参考姿势。如果没有上传,我们将使用第一张人物图片来提取特征标记。如果你在第一步使用了裁剪过的脸部照片,建议上传它以提取新的姿势。
3.输入文本提示,就像在普通的文本到图像模型中做的那样。
4.点击提交按钮开始定制。
5.与你的朋友分享你定制的照片,享受乐趣😊!
如果你还没有准备好自己照片,那么可以用网页自带的照片和参数,一键体验。
只要点击网页底部Examples中的任何一行,就会自动帮你完成内容填充。
已经准备的素材包含马斯克,奥特曼,李开复,还有两位AI技术大佬YannLeCun和schmidhuber 。
随着研发大佬越来越有趣,各位巨佬也是频繁出现在各种演示项目里。
比如选一张马斯克的照片,然后把风格改为火星(Mars),然后点一下确认(Submit)。
稍等片刻就可以看到在火星的的马斯克了。
除了根据上传图片和提示词,生成不同风格的图片之外。
还可以上传一张姿态图片,让生成的图片保持姿态上的一致。
玩过Controlnet的应该很熟悉,只是现在简单了很多。直接传一下,点一下就好了。
比如,上传一张竖屏的半身图片之后,就可以得到一个这样的马斯克:
另外和PhotoMaker类似,这个项目也可以进行各种参数的设置。
上图中的参数都可以自由调整,一般情况下默认即可,最多改一下风格。
如果你要深入了解,可以去研究一下AI绘画,参数基本都是共通的。
如果你要创造其他类型照片,可以自己修改提示词 ,在“a man” 后面加内容就可以了。
如果你想生成一个女的,那就把”a man” 改成 “a woman” 。
另外,再给大家一些使用的小提示:
1.如果你对相似度不满意,增加 controlnet_conditioning_scale(IdentityNet)和 ip_adapter_scale(Adapter)的权重。
2.如果生成的图像过度饱和,降低 ip_adapter_scale。如果不起作用,减少 controlnet_conditioning_scale。
3.如果文本控制不符合预期,降低 ip_adapter_scale。找到一个好的基础模型总是有所不同。
接下来介绍一下replicate的用法。
打开演示网址,立马就可以看到我们的顶级网红马斯克。
你可以直接按Run,重新生成。也可以按步骤,在②的地方删除原图,上传一张新的图片,点击Run就好了。
当然也可以修改一下参数。
相比上一个演示页面,这里把风格省掉了,直接写在提示词里面了。另外这个页面上多了两个选项,可以自定义宽度和高度。
网页演示应该是还没有展示全部的内容,我会继续跟进!
今天的主要目的是给大家快速体验一下,后续有时间,在自己电脑上安装一下,然后做个本地的一键运行包。
网址:
https://instantid.org/
https://huggingface.co/spaces/InstantX/InstantID
https://replicate.com/zsxkib/instant-id
另外,我会把各种演示网址集合起来放在:
https://github.com/dream80/TonyDemo
https://github.com/dream80/TonyColab
收工收工!