只用一张照片就能生成写实3D化身 这家初创公司是怎么做到的？
作者：admin 发表时间：2021-01-19 浏览：104 海淘动态
伴随上周三星发布会的召开，VR行业有个大事件，卡马克重新设计了Gear VR版的 Oculus Home，让Gear VR的显示比Oculus还清晰，简直太牛逼啦!但是，让笔者更感兴趣的是，Oculus Avatar 支持Gear VR啦。就是说，在移动版的Oculus Home里，会有一个Avatar (你的虚拟化身)编辑器，你可以通过选择面部轮廓、发型、衣服、眼镜和帽子创建自己的VR身份。而且你的虚拟化身可在Gear VR和Oculus Rift里通用。是不是很神奇，不过现在创建的虚拟化身很简单，没有面部表情，动画风格，细节很少。Oculus Avatar 是2016年12月6日推出的应用，很明显，服务于Facebook的VR社交大计，同时 Oculus 还开放了 Oculus Avatar SDK，现在已经更新到1.12.0版本。那么除了Oculus Avatar，其它的虚拟化身公司技术如何，已经做到何程度了呢?终于讲到今天的主角Loom.ai，这家公司很牛掰，能用单张照片生成写实风格3D化身，并且支持动画表情。先来看看根据伊隆马斯克照片做的3D虚拟化身。是不是还挺像的，你看虚拟马斯克左右瞟眼神，嘴巴噗噗的，还挺生动的。马斯克委屈、惊讶的表情值得注意的是，所有这些效果只要一张2D照片(如上图右上角的马斯克照片)，就能生成3D的头像，并伴有丰富的表情动画效果。他是如何做到的呢?使用 Loom.ai 公共的 Avatar API，就能把单张图片变成3D头像效果，这些工作在云端全自动部署。同时，这些表情动画是使用预定义面部动画来循环实现。那么使用 Loom.ai 的 Avatar API 能做什么呢?首先，使用 Avatar API 能针对用户照片定制出工业级别的 FACS facial rig (就是面部建模的意思)，并可以导入任何主流的游戏引擎来创建富有创意的数字内容。我们就看眼睛区域的效果，就能看出 Loom.ai 能生成复杂的眼睛动作，伴随着眉毛、眼睑的变化就较好的表现出不同的表情。(仔细看，瞳孔是没有变化的，看来要让瞳孔变化还是太难啦)使用 Avatar API 不仅可以生成写实风的3D化身，也可以根据需要生成卡通化的虚拟化身，并且具有全局的保真度，就是大体上还是相似的。那么这家技术公司如何挣钱呢?Loom.ai目前主要是B2B2C模式。Loom.ai 已经开发了一套云端API和SDK，给企业用户提供一整套的解决方案，而企业用户则利用他们的系统提供服务给开发者，Loom.ai希望通过技术授权等方式来盈利，目前已经开放商家内测中。其实 Loom.ai 是一家非常年轻的公司，2016年成立，并在当年12月获得了 Danhua Capital, Y Combinator, Presence Capital, Anorak Ventures等 135 万美元种子轮投资。笔者查看 Loom.ai 的twitter就是在2016年12月注册的。但是他们公司成员的资历都很老，在相关领域都有超过10年的工作经验。Kiran Bhat, Loom.ai 的CTO ，在电影行业的高端VFX领域有12年的计算机视觉算法经验。Lucasfilm电脑视觉研发团队的负责人。Mahesh Ramasubramanian，Loom.ai 的CEO，在电影行业的高端VFX领域有12年的计算机视觉算法经验。曾就职于梦工厂，主管动画视觉效果，大家熟知的《马达加斯加3》视觉效果就出自他手。Akash Garg，Loom.ai 的首席工程师，具有超过15年的软件开发经验，并拥有哥伦比亚大学博士学位。这里重点说下 Kiran Bhat，他是一个获得过奥斯卡的程序员。其实奥斯卡奖是美国电影艺术与科学学院奖的别称，正式名称叫学院奖( Academy Awards)。Kiran Bhat 获得的是奥斯卡科技成果奖(Academy Scientific and Technical Awards)，是由美国电影艺术与科学学院颁发的一项科学技术奖，颁发对象为在科技成就上对电影产业进步有杰出贡献的个人或公司。在今年2月份举行。Kiran Bhat毕业于卡耐基梅隆大学机器人系，后在著名的电影特效公司-工业光魔ILM领导特效相关的工作。就是由于在工业光魔建立脸部表情捕捉系统的突出成就，他才获得了此奖。电影《复仇者联盟》和《加勒比海盗》这两部电影面部效果的研发负责人就是 Kiran Bhat，比如绿巨人的面部表情。后来，Kiran Bhat 离职并拉着 Loom.ai 现在的CEO Mahesh一起创业，笔者认为不仅因为 Kiran Bhat 自身丰富的经验和牛逼的技术，还有现在VR/AR行业的发展，特别是VR社交领域对于虚拟3D化身具有很强的需求，而且现在没有一个成本低、效果好、部署快的解决方案，所以他们切入这个痛点，即使在2016年，也是投资人认可并投资。从 Loom.ai 的方案(使用云端处理+手机客户端、单张照片速成3D化身)中就表明了 Loom.ai 的产品是针对社交的。好了，看到这里，笔者明白了为啥 Loom.ai 刚成立公司就拿到了135万美元的种子轮，为啥一个小公司就想切入VR社交，我们静看 Loom.ai 的3D化身什么时候能出现在流行的VR社交软件里。
分享到
部分图片内容来自于网友投稿
0/300
微博发布