更先进了!让照片中的人物“动起来”最新技术解析

日期:2023-02-28 16:53:22 / 人气:405

“ 感知CG · 感受创意 · 感受艺术 · 感悟心灵 ”中国极具影响力CG范畴自媒体留意了,屏幕后方詹姆斯向你奔跑而来!诶?之前也有过这样的图片效果,只是这个詹姆斯很“完好”,而且跑的也很流利嘛。来自华盛顿大学保罗·艾伦计算机迷信与工程学院的三位博士【有媒体戏称他们三人爲“艾伦学院三作(zuō)”】开发了一种新玩意,依据一张单帧照片创立3D CG动画,让照片里的配角“动起来”。它有一个迷の异域气味的名字---“照片唤醒”(Photo Wake-Up),目前曾经遭到Facebook、Google、Huawei多家技术企业的一定。“Photo Wake-Up”可以将输出的照片、写实插图、卡通绘画和笼统人物抽象等单帧图片中的角色,以3D动画的方式重新表现,可以冲着屏幕走两步,跑两步,跳两步也行。觉醒时2D,唤醒时3D。干说没意思,我们举例来看。比方一张单帧图片。应用3D角色动画,重建身体网格的绑定,将其“唤醒”。或许是让一幅涂鸦作品“动起来”。甚至连毕加索画作也鲜活了起来。借助AR设备,还可以将照片角色带入到理想生活中。所以这一效果是怎样完成的能?我们还得重新回到一张照片的地位。找到适宜的身体形变模型,如图所示。依据人体体态估量,预算出身体部位标志映射。依据形变模型逐一局部创立身体网格。接上去停止绑定、预算网格蒙皮权重、重建纹理,将模型放到修复后的背景中,各个角度“唤醒”的都很到位。我们可以再来看几个例子。其实之前我们也见到过这样的技术,比方从图像中别离人物、2D骨架预算、形变适配、静帧图像放置3D模型等等。“照片唤醒”在这些后人研讨的根底上,使3D模型轮廓与2D效果更爲契合,动画愈加流利,效果愈加自然真实。我们可以比照着看一下。(Bogo et al.2016)(Alldieck et al.2018)(Photo Wake-up)值得一提的是,运用者可以在用户界面编辑人物举措,创立新的图像。还可以在动画之前修正人物举措。 “照片唤醒”之所以比后人技术更爲先进,是由于在创立3D模型动画的同时,很棒地婚配了原版照片角色的轮廓,头对头,脚对脚,正常来说就是构建一个与单帧照片中轮廓相婚配的可视化3D模型方案。它防止了像手指一类等复杂身体局部,或许是笼统艺术作品在开端运动时就会发生变形的复杂成绩,将模型映射到2D图像中对准轮廓,调好后再转换到3D层面停止下一步操作。研讨人员引见说,这种方式适用于复杂轮廓的处置;此外,经过引入描绘身体部位之间的标志映射,有助于处置某些局部的自我遮挡。 所以遮挡究竟是怎样一回事呢?看下图你就知道了。从输出图像(图a)开端看,经过轮廓和投射SMPL模型(一种参数化人体模型),失掉了初始身体部位标志映射(图b),依据遮挡边缘的辨认点,创立遮挡映射(图c中的三小块),之后对其停止细化,失掉最终的身体标志映射(图d)。接近遮挡的身体部位会有虚伪边缘(spurious boundaries),在图e中用白色线条标志,删除这些虚伪边缘,用SMPL边缘的变形版本(图g)替代,之后再逐一局部停止重建(图h),最终失掉角色网格(图i)。 上面的图详细阐明整个流程是如何停止的。这样的3D动画配合AR/VR设备会有更好的体验,十分适用于游戏、教育环境以及像博物馆艺术品展览这些特定的打工场所。这种技术不只爲观众提供了欣赏和与照片停止互动的新方式,还提出了一种从单帧图像重建虚拟角色的办法,从照片中就可以感受建模艺术的魅力。 目前,研讨人员正针对这项技术,正在照片级别的CG图像和自然运动的自动重建方面展开更深层次的研讨。最初附上一个视频展现,大家可以更直观的理解一下。每日深度精读聊聊Nuke中的那个P长按二维码辨认阅读VR、AR、MR究竟都是什麼长按二维码辨认阅读AI时代哪些CG打工能够会面临失业?长按二维码辨认阅读想要理解更多CG知识可以点击文末“阅读原文”假如你爱明天的文章别忘了给我们“美观”!

作者:鼎点娱乐




现在致电 5243865 OR 查看更多联系方式 →

COPYRIGHT 鼎点娱乐 版权所有