动作捕捉:给虚拟形象以“生命”
3A游戏、科幻大片、动画当中虚拟形象越来越“真实”——
动作捕捉:给虚拟形象以“生命”
国产3A游戏《黑神话·悟空》中,“天命人”等角色的神态动作是如何刻画的?电影、动画和游戏中虚拟人物动作为何越来越逼真、自然?这些角色富有生命力表现的背后,离不开一种名叫“动作捕捉”的技术。
“动作捕捉”技术应用广泛,《阿凡达》《蜘蛛侠》《复仇者联盟》《寻龙诀》《镖人》等电影、动画,及《和平精英》《原神》等游戏中均有使用。诸多国内外经典作品都是通过采集演员肢体动作和表情信息,再用算法驱动静态模型“动”起来,从而让虚拟角色流畅生动地跃然于屏幕上。
动捕技术从上世纪70年代开始应用于动画制作,因工作效率和视觉效果远超传统手绘与三维动画而迅速风靡。近年来,国内相关企业奋起直追,迎头赶上,用坚实技术推动国产作品质量更上层楼。动作是如何被“捕捉”的?国内企业又是如何追赶的?记者进行了采访。
动捕精度达亚毫米
一间约60平方米的房间里,一台台高清相机错落有致地架设在立柱与横杆上,发出蓝色的光。场地中央,一位年轻的测试员身着全黑动作捕捉服——黑帽、黑衣、黑鞋及黑手套,这身装扮上粘贴着50个灰白色小球状的光学标记点。
“我们把这些标记点叫作‘北极星’。”电脑前的动作捕捉工程师屈年晨告诉记者,意思是贴上它的人或物体即便做高速运动,公司自研的亚毫米级高精度动捕相机都能敏锐捕捉“北极星”的反光,精确记录其运动轨迹,由此形成人物表演或物体运动数据。
“做个T pose!”听到指令后,测试员双腿并拢、双臂侧平举摆出T字姿势,屈年晨则熟练地操作起鼠标,在一款动捕软件中检查人体三维模型重建情况。
这是元客视界动捕实验室,里面正在进行FZMotion光学运动捕捉系统的产品测试。
当前,业内头部企业动作捕捉精度普遍达到亚毫米级。今年火爆海内外的游戏《黑神话·悟空》,采用了利亚德·虚拟动点公司提供的OptiTrack光学动作捕捉系统,它能1∶1精准记录演员神态、身体姿势及动作细节,精度误差小于±0.1毫米,旋转误差小于±0.1度,延时最低2.8毫秒。
虚拟动点研发总监崔超告诉记者:“《黑神话·悟空》追求的高精度动作,是指角色表情细腻,跑跳流畅,出招连贯且富有打击张力。”实际上,这样的高标准已然达到影视级别,只不过游戏中的打斗动作是循环式的,蓄力、出招、收手,一组固定动作构成一个攻击招式,在玩家操控下不断重复。
而在真人影视中,武戏常常由多人连续演绎,画面更为紧张激烈,拍摄现场面临的挑战也增多,诺亦腾研发的Perception Neuron系列惯性动作捕捉套装在这种场景表现出色。惯性动捕作为第二种常用的动捕技术,基于传感器捕捉数据,只需演员穿戴轻便的传感器套件,精度上略逊一筹,但胜在便捷、实惠,对环境要求宽松。
诺亦腾团队曾在好莱坞以动作捕捉技术协助一部美剧拍摄。诺亦腾联合创始人兼首席技术官戴若犁回忆,他每次听到导演喊“321开始”时都很紧张,因为影视特效需要十余种技术紧密配合,一家企业但凡出现一次未及时准备就绪的情况,便可能前功尽弃。为此,诺亦腾在动捕产品和算法上下了很多功夫,确保演员长时间离场后设备仍能即插即用。
“要感谢这些复杂、高压情景的洗礼,正是一个个这样的案例倒逼我们不断消除技术死角,提升产品质量和稳定性。”戴若犁说。
在动画类作品的动捕拍摄现场,复杂情景同样屡见不鲜。元客视界解决方案总监陈溥记得,2022年拍摄国产动漫《镖人》期间,先后遇到角色手部与武器穿模,以及多人武戏激烈交互导致光学标记点被频繁遮挡的问题,这对动捕精确度和算法还原度构成很大挑战。为实现“定格每一帧动作”的目标,团队反复计算数据碰撞体系,不断融合和微调人体与刚体模型,最终解决了难题。
“要说比较满意的作品可能是上一部,但真正最好的永远是下一部!”被问及最得意的虚拟数字作品,陈溥解释道,随着技术迭代升级,动作捕捉在精度和美感层面都仍有广阔提升空间。
拓展模式,丰富场景
在影视领域,动作捕捉技术不仅用于正式拍摄,它还改变着电影生产流程——通过“虚拟预演”来让后期前置,从而提升拍摄效率。
借助OptiTrack光学动捕系统,2021年上映的悬疑科幻电影《刺杀小说家》率先尝试了虚拟预演的拍摄模式。深度参与其中的崔超介绍,电影开拍前,公司协助该片导演路阳带领武术演员团队,用2个月时间排演并采集了片中全部动态镜头,从而能够尽早预览特效完成后的影视画面。
崔超谈到,电影中红甲武士一跃而起,身后明月高悬的场景,便是虚拟场景调试过程中临时产生的创意,最终得到导演采纳。借助虚拟预演,电影制作团队得以预览和敲定表演形式、镜头机位及虚拟特效,同时促进导演延伸艺术表达,以便正式演员入场后高效完成拍摄、更好表达情感。
然而,《刺杀小说家》在虚拟预演时遇到一个有趣挑战:终极“大Boss”赤发鬼有4条胳膊,比真人多出两条,动作如何捕捉?崔超回忆,经过讨论和尝试,团队最终采用技术手段同时捕捉两位演员的表演,一位负责全身动作,另一位则专门负责展现虚构双臂的动态,“有点像唱双簧”。
超出人体结构进行动作捕捉的情景,还出现在2023年春晚节目《当“神兽”遇见神兽》中,该项目由元客视界提供动作捕捉技术支持。陈溥称,凤凰、麒麟等神兽的部分动作,需要演员佩戴内置驱动器的尾巴和翅膀道具,以四肢着地或吊威亚的形式演绎。此外,团队还为猫、狗、马等真实动物穿上特制动捕服,为鸟贴上直径仅几毫米的光学标记点,通过惯性与光学融合的动作捕捉技术采集动作数据,再进行后期制作。同样,《黑神话·悟空》中的“虎先锋”角色动作,也是利用虚拟动点空间计算—光学动捕技术“照猫画虎”驱动而成。
事实上,在虚拟数字内容中,异形人物和四足动物,是直立人类与奇幻形象之间的过渡角色。为表达故事想象力、提升视觉冲击力,四足动物动作捕捉技术已成为企业竞相追逐的焦点。据崔超介绍,这项技术的难点在于动物行为无法操控,行动路线难以预测,这就要求动作捕捉系统具备大范围、高精度捕捉能力和防遮挡算法。“目前,全球能做到四足动捕的企业不超过3家,而虚拟动点已经能达到1/3的‘出片率’,这些有效动物数据只需要经过少量后期工作就可以使用。”他说。
随着AI和元宇宙技术蓬勃发展,中国动捕企业赋能虚拟数字内容制作的脚步加快,携手数字人与虚拟现实技术,为更多行业注入新活力。
2022年,元客视界参与打造的AI手语播报数字人系统温暖上线,先后服务于北京冬(残)奥会专题报道和世界杯赛事解说,翻译准确率高达90%。这一创新解决了传统人工手语翻译工作量大、与主持人配合难的问题,使我国听障人士能够更深入感受国际体育盛会的魅力。
屈年晨介绍,在3个多月的时间里,手语数字人学习了近10万条手语语料,不仅覆盖《国家通用手语词典》和数千条赛事相关词汇手语,还包括了手语传达信息所必需的口型、表情和肢体动作。
寻找研发突破口
如果将动作捕捉技术比作一座山峰,那么无限风光在险峰。中国动捕技术企业如同一队既相互竞争又彼此结伴的攀登者,一路跋涉时晴时雨,但总是干劲十足,不断眺望、征服,寻找技术难点作为下一步研发突破口。
从业人员表示,当前中国动捕业内面临的共同难题在于技术还无法同时捕捉面部表情和身体动作,这是因神态变化十分细微,需要演员面部贴点并头戴相机单独录制,而这限制了演员的身体表演。目前采用的“身体和表情分开录制,后期对齐精修”方法,不仅给表演带来挑战,也延长了制作周期。对此,陈溥希望早日实现动捕相机的多模态采集功能,既能用红外捕捉面部光学标记点,又能对表情视频进行视觉分析和信息提取,实现一次表演,多层捕捉。
另一个公认难点是手指捕捉。针对手部动作灵巧复杂的特点,诺亦腾推出了全球第一套消费级别的动作捕捉手套,目前还在持续提升其捕捉精度与抗干扰性。用戴若犁的话说:“不在手指上留技术死角。”
此外,虚拟动点也在精度提升上孜孜不倦,计划继续提高摄像机精细度与算法补偿能力,减少微抖动造成的误差和人工后期修帧工作量。
然而,“精”益求“精”并不能解决一切问题。研发人员意识到,不同领域对动捕的需求兼具共性和差异、合力与张力。运动科学、生物医疗、虚拟仿真、具身智能等追求测量精度和高保真度,而影视动画观众和游戏玩家需要的,则是虚拟角色的动作合理、舒适美观——这就需要在保证还原演员表演精度的同时提升美感,让科技贴近艺术。
陈溥坦言:“角色舞蹈动作真不真、美不美,是否曲线柔和行云流水,只能由人眼判断。”戴若犁也举例称:“我们允许虚拟角色翻的跟头和演员不一样、比真人更夸张,但必须在视觉上是合理的。”
崔超引用法国作家福楼拜的话描绘心中理想的动捕行业图景:“艺术越来越科技化,科技越来越艺术化,两者在山麓分手,有朝一日,将于山顶重逢。”他期待未来与更多影视制作者加强合作,各方人员通力配合,“共同创作更伟大的作品”。
动捕技术的深化应用显示出这样一种规律:从精准到自然,从合理到美感,从客观到主观……这是不是科技发展的必然趋势?该如何理解动捕技术与人类生活的关系?
对此,戴若犁表示,在人类数字化进程当中,动作捕捉应被视为人机交互的界面、现实世界和数字世界之间的桥梁。
“只有让科技产物更贴近人类,才能延续现有的人本设计成果,强化以人为本的理念。”陈溥指出,“要让科技更好地服务和参与整个人类生活,这是我们的终极目标。”(人民日报海外版 记者 陈静文)
相关推荐
黑龙江饶河再现野生东北虎足迹
四川内江市市中区发生3.2级地震 震源深度10千米
海南将迎来春节前出岛车客高峰 各港口出岛秩序总体平稳
(新春走基层)“喜迎全运会 瑞蛇贺新春”新春庙会在广州举行
羊角把、牛角、十字扣,春运涨知识→小设计大用途
岁暮冰嬉 寒尽春生 这些“速度与激情”谁看了不想玩一把?
“家门口能挣钱,好日子有盼头”(新春走基层)
国家中医药局:九成以上三级妇幼保健院设置中医类临床科室
湖南零陵腊肉飘香年味浓 供销两旺助增收
春节临近 你的家乡举办哪些活动?一起来寻找年味儿→
新春走基层丨让每一盏车灯都安然明亮 他们是“魔鬼风口”的风雪护路人
中国将386.7万家固定污染源纳入排污许可管理
- 最近发表
-
- 随机阅读
-
- 我国上半年汽车产销量分别完成1389.1万辆和1404.7万辆
- 广州南沙多举措促制造业数字化转型
- 可乐能溶胃结石?尚无定论!
- 南方航空新增长沙至越南胡志明市定期航线
- 淄博好品荟萃泉城济南 民众乐享“消费盛宴”
- 浙江磐安:为非遗打造一个家
- 工信部通报62款存在侵害用户权益行为的APP(SDK)
- 山西路桥集团回应“国道241工程质量问题”:成立调查组
- (新春走基层)揭秘哈尔滨“淘学企鹅”冰雪大巡游的背后
- (新春走基层)雁门关下的电力守护者:值班守岁两不误
- 航空公司“积分清零”,为何让人心绪难平?
- 中国新规支持上市公司以定向可转债为支付工具实施重组
- 报告:截至2023年末,城商行总资产规模达55.20万亿元
- 国家数据局揭牌,如何唤醒沉睡的数据
- 大雾黄色预警:渤海黄海等海域将有能见度不足1公里的大雾
- 浙江金华“副高烧烤”依旧火热 局地最高温43.9摄氏度
- 《人世间》导演李路:好演员需具备可塑性与文化底蕴
- 也门首都萨那发生踩踏事件 至少80人死亡
- 舞台剧《魔域·亚特之光》为观众带来别样奇幻观演趣味
- 报告:我国互联网宽带接入端口数量达11.36亿个
- 热门推荐
-
- 通讯:“镶嵌”在兴安岭上的绿色希望
- 美“毒火车”事件:愤怒的居民就健康危险寻求答案
- 盗窃16盆多肉植物被刑拘,检察机关:不是犯罪
- 广铁集团全力迎战今年第11号台风“海葵”
- 印尼一船只倾覆 4人失踪
- 山西大同:以科技助力智慧养老 托起幸福“夕阳红”
- 大卫·弗格森:停滞的眼光难懂鲜活的中国 走进方得理解
- 南木林县普当乡差强公路铺就乡村振兴“快车道”
- 英国将向制造业投资45亿英镑提振经济增长
- 我国首个高空风能发电示范项目成功发电
- 光影流转灯火千载 陕西华州皮影“混搭出圈”
- 【追梦火焰蓝 守护万家灯火】担任基层消防队伍主官这十多年,她说最可爱的人是他们
- 上海专家探索麻醉下介入治疗 为血透患者“舒适化”修护透析通路
- 澳大利亚国家美术馆首次向中国返还文物艺术品
- 国家创新型城区打造人工智能产业生态 加快制造业转型发展
- 黑龙江省倭肯河倭肯段水位上涨至警戒线
- 多项民生新举措“暖”人心 解决生活难题 提升群众获得感
- 不用担心内存 你的下一部手机也许在“云端”
- 商务部:对原产于日本和印度的进口邻二氯苯所适用的反倾销措施发起期终复审调查
- 刚果(金)任命首位女总理