新潜力传媒(国际)品牌战略中心
Phone : 4000-967-158

新闻新潜力文化

当前页面: 首页 > 资讯中心 > 行业新闻

世界元宇宙大会|北京数字栩生科技有限公公司董事长宋震:超写实数字人关键技术与产业应用

分布时间:2022年09月08日 浏览次数:1973次

文章来源:世界元宇宙大会微信公众号

2022年8月26日-28日,WMC2022世界元宇宙大会在北京大兴经济开发区顺利召开。北京数字栩生科技有限公司董事长宋震受邀参会,并在发表精彩演讲《超写实数字人关键技术与产业应用》。

图片

图为北京数字栩生科技有限公司董事长宋震发表演讲

一、北京数字栩生


作为数字栩生联合的创始人,宋震董事长对其公司进行了简单介绍:北京数字栩生是垂直领域的硬核科技公司,是数字人领域的偏技术公司,为用户主要提供高写实数字人创建服务,这是一块主要业务,还有一块针对行业配套数字人应用解决方案,并提供三维引擎支持的实时化渲染技术,可实现超逼真外貌表现、并可无缝地与现实智能系统连接。

从产业链位置来看,数字栩生处于中游,上游是IT设计公司,设计数字深外观、服装等,作为产业链中游,包括数字人生产和数字人智能化解决方案这两块业务,大家把这两块业务叫PGC和AI业务,下游是数字人日程运营企业,包括内容生产、平台投放、广告等,数字栩生的定位是中游技术公司。


二、怎么看待数字人


首先数字人分为两块,一块要有好看的皮囊,这是数字人偏IP、偏人设属性的特点,首先人是人的衍生物,具有数字资产的天然属性,数字人需要有资产确权、资产授权、保值增值以及资产价值评估等领域,从另外方面除了有好看皮囊之外,还需要有趣的灵魂,数字人另外智能属性,本身数字人是人的智力延伸,主要怎么解决生产力、对供需关系的改变、对成本结构的改变、对生产关系的影响和对社会进步的促进,这一块更看好数字人偏向服务属性、以及为AI结合更大的发展空间。目前数字人比较火更多在IP商品属性层面,在有趣灵魂上大家做的比较少。

围绕好看的皮囊和有趣的灵魂,那么数字人形成一整套关键技术,主要目标是什么呢?是让数字人更像一个人,首先从像人角度上讲,怎么才算像个人?就有数字人评价分析技术以及云端渲染技术,数字栩生认为数字人像人必须两个方面像人,第一个外貌方面像人,有高写真的外貌、逼真的表情;第二个行为方面像个人,比如语音的口型生成、表情自动生成、行为动作自动生成、以及多模态感知、多模态呈现支撑,往更深一步数字人有自我学习的能力,这样在行为上更像人。在弯道像让主要有静态、动态像人,静态支撑技术用的比较多包括模图象模型,怎么把二维图像变成三维模型,以及比较火热的Nerf技术,通过毛发系统、眼球系统、以及动态的思维扫描、绑定解算、适时驱动、毛发服装物理结算,通过这些才能把数字人做成很像人的数字产品。


图片


数字栩生围绕行业痛点提出的解决方案:

1、第一个逼真外貌难,从二维纸片人到二次元人、三维二次元人、一直到最高级别的写真人,数字栩生采用“光场重建”和结合、智能解耦解决逼真外貌难的问题。

2、制作效率低,就像一个电影做一桢需要几万美元成本,同时需要一大堆艺术家在一起共同努力才能产生高写实的视频,数字栩生提出解决方案是4D采集加上自动解算技术。

3、智能互动难,现在数字人更像数字玩偶或者人偶属性,数字栩生提出用“数字小脑”补充“数字大脑”,解决数字人智能表现方面的逼真问题。

数字栩生解决逼真问题主要用了光场重建结合智能解耦,对用户不同角度的采集,得到不同光照、不同偏振状态等数据,主要重现光场重建技术,针对中国人面部特点、发音特点,增加50多个表情。

为了得到更精细的表情,数字栩生采取四维采集和自动解算方法,这是三维光场采集的工作流程,完全自研技术实现采集流程化,效率从传统的手工两三个月,缩短到一周到两周时间。

解决数字人智能问题,数字栩生提出“数字小脑”补充“数字大脑”,它是第三方云服务,通过文本和数字小脑进行交互,然后数字小脑完成数字人个性化表情驱动和动作驱动,最后通过数字人数字驱动接口驱动数字人,主要研发语音到表情自动生产技术,数字栩生通过自研的面部红外采集设备,利用了局部强化光流追踪算法构建表情高精度集,通过训练实现自动生成。还有通过比如像央视主播讲新闻,得到数字人三维动作,通过语音驱动的时候可以自动还原数字人的动作。

另外,还有一个AI深度结合的案例,数字栩生和马栏山计算媒体研究院发明的数字手语主持人,主要实现听障人士双向无障碍交流。这是一套AI计时系统,通过输入一段文本,自动生成口型、表情、动作,而且可以对动作进行手动编辑,一键可以发布数字人高写实的视频。通过第三方AI接口,输入之后自动生成语音,有了语音之后可以通过相关技术自动生成口型和表情。

三、行业应用


虽然数字栩生的成立时间不长,但是也有很多实际产业客户,包括去年在云大会和移动合作伙伴大会上一作为英伟达合作伙伴展示的数字技术,还有和EPIC电影深度合作,2021虚幻引擎开发者大会,代表数字人做了主题演讲,也是微软数字人合作伙伴,微软会给很多数字人方向的合作,还有跟奔驰、次世文化、联想、芒果超媒等都有数字人技术方面的合作。

目前,数字栩生的战略合作伙伴渠道伙伴,包括英伟达、次世文化、蓝色光标、中科汇联、新华社等,通过深度捆绑为客户提供数字人解决方案。

大会现场,数字栩生董事长宋震亲自展现了和蔚领时代一起开发的云原生游戏《春草》,其主要提供数字面部表情服务;同时,还有和奔驰汽车一起合作的奔驰电动汽车的数字人项目,已经在成都发布;另外,还有和字节合作的第一个超写实数字人迷西蓝。与此同时,还有和中央戏剧学院、北京理工大学、腾讯游戏一起完成了数字梅兰芳项目。

四、展望未来


最后,数字栩生董事长宋震发表总结:认为数字人可能是未来发展的路径,并提出数字人层级六个等级,第一个模拟层级,通过演员驱动预先录制动画,主要用在影视,目前这个层级比较成熟,都是L0级技术。L1级是中置人驱动、实时动画数字木偶,已经广泛应用比如直播、预演领域用的比较多;L2级脚本化基于规则,一般实现方法基于语音、文本或预设来触发某些动画,现有AI系统的角色竞相或DeepFake应用;L3级在交互中具有自学习能力,以及有个性的情感反应,这种比较多用在数字员工和数字伴侣上,我们认为数字栩生目前在这个层级技术研发上,比如和L2级不一样,L2级更多通过大模型完成AI系统的泛化,他希望我学了1000句,最后能得到1001句推理,数字人每个人都是有个性,必须实现千人千面,需要对每个数字人进行单独训练;L4层级已经比较高级智能,对环境语境理解能力和想象力,有对环境的反应、有计划和目标的行为能力,未来可能用在交互式VR/AR环境中,这个层级目前没有看到更好实现的方式;L5就是数字人自我觉醒,具有自我意识和自理解能力,可能是未来元宇宙世界里真实的数字人。