2019年百度AI开发者大会上,百度AR宣布技术开放平台DuMix AR 全面升级5.0,带来 一体化人机交互与大场景物理世界交互两大AR技术系统级革新;并以持续构建的虚实融合基础设施和不断变革的人机交互创新体验,推出六大行业解决方案。


7月3-4日,我们与数千位开发者相逢在Baidu Create 2019百度AI开发者大会,一起见证AI力量催化产业智能化变革。


百度视觉技术部、增强现实技术部总监  吴中勤


会上,百度AR宣布技术开放平台DuMix AR 全面升级5.0,带来 一体化人机交互与大场景物理世界交互两大AR技术系统级革新;并以持续构建的虚实融合基础设施和不断变革的人机交互创新体验,推出六大行业解决方案。

 


 两大AR交互系统创新发布 


2017年,百度AR在AI开发者大会上首次发布技术开放平台DuMix AR,将AR技术赋能广大开发者。两年后,百度AR交出新的成绩单 —— 全面升级DuMix AR 5.0平台,发布两大AR交互系统,实现从认识物到理解人,到探知世界的智能感知能力进阶,将AR技术应用的边界从眼前的空间扩展至物理世界大场景。



由人脸、人体、手势等相关视觉技术,及完备的环境特效能力共同构成的一体化人机交互系统,实现了人与周遭环境的实时跟踪互动,目前正广泛应用于视频拍摄和游戏互动场景,为人们带来持续创新的交互体验。


为实现人脸特征点和轮廓点的精准定位,百度AR从自建人脸数据库的海量数据中提取东方人脸型基底,并以此为基础构建了一套稳定高效的用户脸型三维重建算法,使得在进行人脸驱动表情估计时,能够提取到更精确的表情结果。


此外,基于百度飞桨PaddlePaddle高性能深度学习框架,人脸关键点检测在大姿态、极端表情、遮挡等复杂场景下都表现出可靠的鲁棒性和准确性。在这之上,拓展出人脸美型、美妆、3D道具及3D动画表情等十余项丰富的⼈脸特效能力,为全民小视频、好看视频等应用和华为、魅族等企业级合作伙伴提供了视频特效拍摄方案。


百度AR还建立了一系列业内领先的超轻量级(计算量小,体积小)手部交互算法能力矩阵,涵盖手势识别、指尖点检测和手势关键点检测,除了常见的控雨等手势控制操作,还能自定义手部特效、空间作画等多种创意玩法。


在移动端,百度率先实现了肢体骨骼点/轮廓点检测跟踪,支持人体实时定位与动作捕捉;同时以18点/59点两种不同输出方式, 跨平台兼容各主流终端设备。包含人像分割、天空分割、头发分割、物体检测等多项算法能力在内的环境特效能力矩阵,致力于打造人像与虚拟环境的自然融合,可以任意选择背景替换、染发、天空特效、动画叠加等AR效果。


随着5G时代的到来,百度AR依托视觉技术优势所构建的虚实场景融合的基础设施,将不断弥合虚拟世界与物理世界的间隙,刷新人们探索世界的方式。


 VPAS-视觉定位与增强服务首发,复现圆明园大水法盛景 


在开发者大会上,百度AR首次发布VPAS(视觉定位与增强服务),通过视觉定位与AR技术的突破性结合,将虚拟信息与真实地理位置准确重合,实现大场景物理世界的AR交互。当你跟随百度地图导航走进圆明园西洋楼景区,VPAS将自动“找到”大水法遗址,在这片残垣断壁上重现100多年前雕栏玉砌、“猎狗逐鹿”的恢弘奇景:
http://www.iqiyi.com/w_19s8l1kvk5.html



VPAS主要包含离线高精地图构建、在线定位与融合跟踪三大基础模块,相比GPS具备更稳定的实时跟踪能力,支持室外大场景及室内场景厘米级高精度定位。


百度AR在视觉信息要素积累的基础上实现了一套完整的视觉地图构建方案,即实行众源数据采集模式,对用户通过手机收集反馈的图像数据进行处理分析,结合百度地图的地理位置信息持续更新完善视觉地图。


目前,百度AR已打通常见三维重建数据导入接口,并且兼容相同格式下的第三方数据,具备易集成特性和数据批量化生产能力。


VPAS采用了最具前瞻性的视觉技术方案,以及兼容Google、Apple平台的持续跟踪能力与独有自研跟踪能力共同构成的融合跟踪方案,能够支持当前市场主流机型的全场景体验需求。同时结合百度视觉语义化能力,持续提升在线定位与实时跟踪的稳定性和精准度。


VPAS与百度地图入口的打通,为我们打开一个崭新的“世界”!并将以大水法为起点,迅速拓展至景区、商圈等更多室内外场景,为可视化导航服务带来体验式变革。

 


 六大行业解决方案助力产业智能化升级 


在技术能力持续积累的同时,百度AR与开发者和生态伙伴一起不断探索AR在各个行业的实用场景和解决方案。



本次AI开发者大会上,百度AR发布全新DuMix AR 5.0平台,针对娱乐互动、智能营销、智能设备、景区行业、教育行业及汽车行业,发布六大解决方案,覆盖从AR内容生产到消费应用全场景:
http://www.iqiyi.com/w_19sa4yy8kx.html


01. 娱乐互动解决方案

百度DuMix AR聚焦精细美化方向,在人脸特效、美化特效、人体及环境特效方面都带来了出色表现,实现了虚拟特效贴纸、动画表情、美化滤镜等与人脸/人体的精准贴合,人像与虚拟环境的自然融合。


在兼容性方面,百度DuMix AR人机交互能力进行全机型覆盖,兼容市场上绝大多数高中低端移动设备,支持和满足各类视频、直播、实时通话等应用需求。此外,百度AR还将内容平台服务向视频特效方向延伸,为广大开发者/设计师提供低门槛的AR特效内容制作工具,扩大AR内容规模和开发效率;平台提供内容的管理与存储服务,开发者也可以通过平台将自己的作品上传至全民小视频等接入百度AR能力的应用,形成从内容生产、管理到分发的一站式解决方案,打造AR娱乐互动领域的开放闭环。

 

02. 智能营销解决方案

在智能营销领域,百度将AR的趣味性与交互性融入虚实结合的全新场景,定义创意表达的不同形态,更多元化地向用户传递品牌价值,提升营销转化率。百度AR拥有专业的内容生产团队和高效的内容制作体系,提供AR内容的个性化定制和一站式模板服务,帮助开发者实现创意内容的快速AR化。此外,百度还拥有高效的分发优势,线上依托生态亿级分发矩阵和大数据资源,精准触达目标人群;线下通过AR“扫一扫”入口延伸至线上场景,形成打通的营销闭环。


03. 智能设备解决方案

2018年,百度将肢体互动能力与智能大屏结合,AR打太极项目落地全球首个AI公园-海淀公园,独特的健身互动方式受到了大家的广泛关注,天津南翠屏公园、福州飞凤山公园等先后引入,每天都有络绎不绝的游客前来体验。



通过将人机交互,智能感知和跟踪等领先技术能力及视觉定位与增强服务(VPAS),与智能大屏、AR眼镜、PAD等更多智能设备结合,AR技术将突破手机的约束为人们带来解放双手的AR交互新体验,在公园、景区、商圈、店铺等挖掘丰富的使用场景。

 

04. 景区行业解决方案

基于端云一体化的视觉定位与增强服务(VPAS),融合百度地图场景化能力,百度DuMix AR为景区打造了覆盖行前、行中、行后的全流程交互解决方案。用户可以通过线上AR导览进行实景体验,依托VPAS探索景区知名地标并将关联信息在现实空间叠加呈现,丰富的人机交互能力为线下提供了多样化的娱乐互动形式,而通过设备摄像头采集分析呈现的用户画像,将为景区管理和优化提供可靠依据。

 

05. 教育行业解决方案

百度DuMix AR以领先AR技术为图书/出版物进行数字化改造,将AR内容应用于丰富的教学场景。面向教育行业开发者和从业者,提供从SDK接入到内容生产制作全流程的平台级解决方案,针对不同年龄段定制化AR内容,推动教育领域应用的快速规模化落地。


人才培养方面,百度DuMix AR平台与高校和教育培训机构共同编撰专业AR教育课程,并携百度APP度云智学院推出AR技术认证资质体系,强化国内AR领域人才队伍建设。百度拥有丰富的生态产品矩阵与线上教育平台,百度DuMix AR将联动国内优质教育出版资源,携手专业教育垂类合作伙伴,建立更完善的AR教育生态。

 

06. 汽车行业解决方案

百度将AR技术应用于汽车行业,可广泛用于线上AR展示、产品说明及工业维修等各类产业相关场景,助力汽车产业上下游企业实现智能化转型。同时,百度DuMix AR还将针对不同需求端场景,定制化提供从SDK到分发的整套嵌入式应用方案。


以上六大解决方案涵盖了当前AR技术应用的核心场景和领域。本次大会的DuMix AR解决方案应用与实战公开课,百度AR资深研发工程师、百度AI交互设计院资深用户研究工程师及百度AR生态合作伙伴,为开发者解读两大交互系统背后的核心算法与技术,比较分享AR内容制作的交互设计逻辑。


百度AR将与开发者和生态合作伙伴一起,共同探索更多行业解决方案和落地场景,携AR能力迈进产业智能化时代。


了解更多百度AR最新技术,请访问链接:
https://ar.baidu.com/home