【技术与实战】 怎样开发一个AR场景应用？

作为国内领先的增强现实生态开放平台，百度AR在今年的开发者大会上推出了DuMix AR 3.0，全面升级人机交互能力并开放更多工具，在满足AR开发者更多维度需求的同时帮助他们实现更简单的流程和更高效的分发。百度AR官网链接：http://ar.baidu.com/

• 打通底层硬件至业务场景的跨越式布局
  

以一个典型AR应用案例的需求层次来看：在MVP部分，开发者定义了场景及用户交互流程，接下来通常需要经过“内容-感知--呈现--跟踪-交互”的技术路径实现；尔后，运用平台工具对素材进行制作与管理，完成上线部分最后进入商业化运营。

大多数情况下，行业内的AR企业根据自身优势或业务形态，聚焦于其中2~3个能力层级；而百度凭借在AI领域的深度累积，形成了以兼容主流AR硬件设备为基础、跨越“技术层+内容层+业务场景”的完整布局，开发者可以通过不同层级的能力自由组合，生成满足自身业务场景需求的解决方案。

• 10+核心能力开放，一站式AR内容平台
  

Dumix AR 3.0为开发者提供了“技术+内容”双平台，技术开发者可以将AR应用托管至内容开放平台，同样内容开发者也可以将生产的内容私有化部署至技术开放平台。

对技术开发者来说Dumix AR 3.0提供了很高的自由度。不仅全面开放了手势、肢体、通用SLAM算法、背景分割等十余项AR核心能力，更是行业里首个将人脸识别能力面向开发者开放的AR平台；8类适用于不同场景的AR引擎和4种开发框架，让开发者能够高效、灵活地部署最适宜的开发方案。

同时，Dumix AR 3.0为内容开发者准备了从制作工具（编辑器）、内容管理到云端实时分发的全流程支持，帮助开发者快速实现AR内容制造和规模化产出。值得强调的是，这些内容不只能够通过开发者自有渠道进行分发，而且与百度APP相机入口、小程序入口、百家号入口等全面打通，一键分发，未来也将开放百度生态内更多用户级产品的入口。

• 如何开发一个AR场景应用？
  

通过上述工具和能力，如何在DuMix AR 3.0平台上完成一个AR场景应用？是现场观众和许多入门级开发者最关注的部分。百度AR资深研发工程师徐力从实战角度对AR场景的开发进行了拆解。

所谓场景，就是在游戏和3D开发中常提到的“Scene”，它通常是指整个虚拟画面中所有元素的集合。要灵活地组织这些虚拟物体的渲染，常见渲染引擎中通常使用场景树来组织场景的逻辑结构。对AR场景而言，为了实现对现实环境的增强，除了需要对虚拟场景的逼真渲染，还要充分考虑虚拟场景和现实环境的融合、虚拟物体和现实环境的互动，更多地对现实环境进行感知。总的来说，AR场景开发，就是实现虚实融合的渲染+虚实互动的交互。

百度AR自主研发了一整套的AR场景渲染和场景智能互动的基础能力，并以此定义了一套完整的场景开发标准和配套工具集，开发者依照标准结合自己的创意来开发自己的AR场景应用，并通过DuMix Cloud来进行部署和分发。

在DuMix AR SDK中，包含了丰富的渲染和互动基础能力模块，来实现虚实融合的渲染和虚实之间的互动，例如：

• 动画控制模块完整支持了刚体动画、骨骼动画和BlendShape动画；
• 光照系统除了支持多种类型的光源和动态阴影，还支持了IBL高级光照效果，以及实现了动态的环境光感知。材质模块支持了业内比较先进的PBR物理材质，在移动端上的渲染效果达到了业内较领先水平；
• 在人机互动方面，支持了丰富的屏幕手势、空间手势、语音、人脸表情、人体肢体等多模态的交互方式。
  

我们通过脚本系统来为开发者提供场景开发的API接口，以便开发者访问到上述所有模块的功能。另外，脚本中支持了KVC和KVO的编程方式，让开发者既能够以非常少的接口，方便地访问场景中所有节点的属性、状态信息等，也可以很容易地实现对场景属性的变化进行监听，方便高效地基于这些数据的变化去实现互动效果。

我们的场景渲染和互动模块完整兼容了ARKit的大部分基础功能，开发者可以在百度AR的自研跟踪算法和ARKit之间灵活切换；另外我们还提供了场景分布式加载的功能，有效缩短了加载过程中的用户等待时间，提升了用户体验。

一般的AR场景的开发流程需要以上步骤，而DuMix AR为开发者提供了更便捷的网页端场景编辑器，在手机上使用DuMix view预览工具即可在编辑过程中实时预览。编辑器实时预览，效果见视频→https://v.qq.com/x/page/m0765f9zory.html

特别需要指出，在人脸AR方面，百度AR也提供了一套完整的工具支持，它以一个Maya插件的形式呈现。内容的设计师可以直接在Maya中制作人脸AR的模型和场景、为它配置人脸交互响应等，然后直接导出为DuMix AR SDK中可使用的内容资源。

这部分能力将在近期与大家见面，敬请关注百度AR官微或官方公众号！

首次使用百度AR开放技术的应用开发者，如有疑问可以通过百度AR开发技术交流QQ群：472081119联系我们。