你的好友爱因斯坦,哈利波特,乔布斯,蒙拉丽莎已经上线!| avatarify
大家有没有想过开视频会议或者直播的时候直接把自己的脑袋换掉,而且能换成任何人。比如换成乔帮主乔布斯,或者科学巨匠爱因斯坦,或者魔法小子哈利波特…
既然我都这么说了,那么肯定是有招了。
已经有程序员搞出这样滴技术啦。
受疫情影响,全球进入在家办公模式,Zoom等视频会议软件火到爆炸。Zoom有一个功能是可以直接换视频聊天背景,现在不光可以换背景了,还可以直接把脑袋也给换掉。试想一下,几个人在视频聊天或者开视频会议,马斯克突然加入,是一种什么样的感受?
马斯克是谁?大概是马克斯的兄弟吧,也许是一个演员^_^ !如果大家都用了这项技术,感觉未来的视频会议会很魔幻!一堆大头贴名人在那里侃侃而谈。“特靠普”肯定能独领风骚!
上面所演示的功能,全部来自一个叫avatarify开源软件(不同于普通软件,一般只有程序员才能驾驭),从项目作者的定位Moscow来看,又是一位俄罗斯的开发者!
项目地址为:https://github.com/alievk/avatarify
项目的介绍很简单:Avatars for Zoom and Skype 。
就是可以为Zoom Skype等视频会议软件添加换头特效。这个项目基于First Order Motion Model. 作者特别强调与三星的AI项目无关。项目发布仅半个月,Star已经4500了。
运行这个项目需要一张支持CUDA的N卡,如果没有的话,会使用CPU来处理,这个速度会让你怀疑人生。
以下为不同设备上的帧率(流畅度)
- GeForce GTX 1080 Ti: 33 fps
- GeForce GTX 1070: 15 fps
- Mac OSX (MacBook Pro 2018; no GPU): very slow ~1 fps
如果你拥有一张1080Ti话,基本能达到常规视频的帧率,1070的话勉强能看,没有GPU的话,一秒一张图片,视频变PPT。当然除了显卡之外,你还要一个摄像头!否则怎么视频聊天呢?
项目内置了8个名人的模板,也可以自己添加模板,只需要把新的人物头像,放入指定目录即可。头像基本要求为:
- 把头像做成方形
- 裁剪出人脸,这样它就不会太近也不会太远。使用标准头像作为参考。
- 背景单一的头像更好,这样看起来更逼真!
除了可以添加现实中存在的人之外,也可以使用StyleGAN来生成高清的“虚拟人物”。
因为看到window版有提及OBS,那么理论上直播也是可以实现,具体情况还需要尝试后才知道。
该项支持Window,Linux,Mac平台。项目主页提供了 安装,设置,运行,控制,配置Skype,Zoom,Slack的方法。有兴趣有能力的可以去搞起来。有空我去研究下,带飞!