你的好友爱因斯坦,哈利波特,乔布斯,蒙拉丽莎已经上线!| avatarify

大家有没有想过开视频会议或者直播的时候直接把自己的脑袋换掉,而且能换成任何人。比如换成乔帮主乔布斯,或者科学巨匠爱因斯坦,或者魔法小子哈利波特…

 

既然我都这么说了,那么肯定是有招了。

已经有程序员搞出这样滴技术啦。

受疫情影响,全球进入在家办公模式,Zoom等视频会议软件火到爆炸。Zoom有一个功能是可以直接换视频聊天背景,现在不光可以换背景了,还可以直接把脑袋也给换掉。试想一下,几个人在视频聊天或者开视频会议,马斯克突然加入,是一种什么样的感受?

马斯克是谁?大概是马克斯的兄弟吧,也许是一个演员^_^ !如果大家都用了这项技术,感觉未来的视频会议会很魔幻!一堆大头贴名人在那里侃侃而谈。“特靠普”肯定能独领风骚!

上面所演示的功能,全部来自一个叫avatarify开源软件(不同于普通软件,一般只有程序员才能驾驭),从项目作者的定位Moscow来看,又是一位俄罗斯的开发者!

项目地址为:https://github.com/alievk/avatarify

项目的介绍很简单:Avatars for Zoom and Skype 。

就是可以为Zoom Skype等视频会议软件添加换头特效。这个项目基于First Order Motion Model. 作者特别强调与三星的AI项目无关。项目发布仅半个月,Star已经4500了。

运行这个项目需要一张支持CUDA的N卡,如果没有的话,会使用CPU来处理,这个速度会让你怀疑人生。

以下为不同设备上的帧率(流畅度)

  • GeForce GTX 1080 Ti: 33 fps
  • GeForce GTX 1070: 15 fps
  • Mac OSX (MacBook Pro 2018; no GPU): very slow ~1 fps

如果你拥有一张1080Ti话,基本能达到常规视频的帧率,1070的话勉强能看,没有GPU的话,一秒一张图片,视频变PPT。当然除了显卡之外,你还要一个摄像头!否则怎么视频聊天呢?

项目内置了8个名人的模板,也可以自己添加模板,只需要把新的人物头像,放入指定目录即可。头像基本要求为:

  • 把头像做成方形
  • 裁剪出人脸,这样它就不会太近也不会太远。使用标准头像作为参考。
  • 背景单一的头像更好,这样看起来更逼真!

除了可以添加现实中存在的人之外,也可以使用StyleGAN来生成高清的“虚拟人物”。

因为看到window版有提及OBS,那么理论上直播也是可以实现,具体情况还需要尝试后才知道。

该项支持Window,Linux,Mac平台。项目主页提供了 安装,设置,运行,控制,配置Skype,Zoom,Slack的方法。有兴趣有能力的可以去搞起来。有空我去研究下,带飞!

 

小尾巴==========================
公众号:托尼不是塔克
交流群
知识星球
==============================