在前不久举行的FC上，第四届国际进口博览会期间，Meta公布了构建元宇宙平台的宏观愿景，上海海关首次运用AR眼镜、数字标签等新技术开展智慧巡馆、展品监管工作。通过AR眼镜，其旨在打造一个虚实融合的互联数字体验，目光所及之处就能看到展品的国籍、名称等相关信息，通过AR/VR技术拉近虚拟和现实之间的距离，海关关员还能通过手机端查看展品的具体信息。一线关员佩戴可穿戴式前端智能交互装备开展作业，营造不受地理位置限制的共享体验。也就是说，该模式应用了5G+AR技术与人工智能、物联网、云计算、数据、端计算等新一代信息技术，你可以在元宇宙平台具有虚拟形象，让每一个佩戴智能装备的执法人员都成为数据平台信息采集的延伸入口，还可以穿越到遥远的场景。
据悉，通过解放双手的视觉交互与听觉交互，Meta将与者、创作者合作，为一线关员和后台关员双方提供实时的决策信息和快速的现场处置，在Horizon基础架构之上继续丰富元宇宙应用场景。那么与VR应用相比，提高海关对展品监管的效率和精准度。增强现实技术（Augmented Reality，为元宇宙内容有什么区别呢？
为了丰富元宇宙工具，简称 AR），明确相关内容形式，Meta推出了Presence Platform，其中包含了多种基于AR透视的功能，以及语音和手势交互工具。从Presence Platform的各项功能可以看出，未来Meta想要打造一个AR和VR无缝衔接的虚拟平台，为了展现这样的效果，其还将于明年推出demo应用：《The World Beyond》。
此外，Presence Platform与Oculus Platform SDK具有高度互通性，因此你可以在VR应用的同时，AR模式或开启自然交互功能。
Meta表示：元宇宙的基础架构已经存在，为了在此基础上进一步提升虚拟环境的自然感和逼真感，应用中运动和场景交互的呈现形式需要得到优化。换句话说，就是如何通过具有空间感的虚实融合效果，提升AR/VR场景的沉浸感，让人更加信服。
据青亭网了解，Presence Platform（中文直译为临场感平台）包含分：1）Insight SDK；2）Interaction SDK；3）Voice SDK；4）Tracked Keyboard SDK。据悉，Insight SDK包括一系列透视AR功能，除了此前已经公布的Passthrough API（透视API），Insight SDK还包括空间锚点和场景理解两个新功能，进一步丰富透视AR的效果和应用场景。而Interaction SDK则包含一系列标准化的模块化手势和自定义工具，旨在进一步简化手势识别功能的流程。Voice SDK可以帮助者在应用中集成语音交互功能。
目前，Passthrough API已经随v34版Oculus系统推出正式版，而Spatial Anchors、Scene Understanding则将在明年推出测试版。
基于VR的透视AR
实际上，语音和手势交互功能此前已经实验性测试，透视API是更新的功能，对于Meta打造AR生态具有关键作用。尽管Quest并不是真正的AR头显，但是通过Passthrough API的这些功能，者也可以出沉浸感足够好的AR内容。此外，Quest的优势在于可以将VR与AR融合，你可以看到周围的分场景，同时也能看到VR渲染的场景，效果看起来足够自然。
细节方面，Passthrough API可帮助者制作基于透视的AR内容，而空间锚点（Spatial Anchors）和场景理解（Scene Understanding）分别指的是，将AR内容持续固定在物理空间（LBS AR），以及让AR与物理场景互动。这些功能此前已经在Magic Leap等AR头显上展示，而Quest视频透视也能支持这样的功能，也是为了探索优质的AR效果，同时也能为Meta的AR眼镜打下内容基础。
空间锚点：该功能将以头显周围的物理空间作为框架，让你可以将AR定位在特定的位置，并持续保存。此外，利用空间锚点的AR还将支持6DoF定位，可相对于Quest头显的6DoF范围。而且你在Quest系统中也可以查看已经保存的持续AR内容。
应用场景方面，空间锚点功能可以让你将虚拟界面以AR的形式固定在家里的任何地方，比如你可以将视频窗口放在客，模拟电视的功能。你还可以在周围空间中固定桌面、网页等多个界面。
场景感知：此前者Bob Berkebile就曾类似的功能，可以在Quest透视模式中测量周围空间，也就是说你可以在透视模式设定墙壁的边界，之后AR游戏便会具备对墙壁的感知，如果AR球体撞到墙面，会像真实的撞击一样反弹，模拟遮挡等逼真的物理特性。
相比之下，Quest官方的场景感知功能可以映射/标记场景中的物体，如天花板、墙壁、桌椅、沙发、地板等等。Meta表示：场景感知功能利用场景建模来捕捉物理空间，也就是通过几何和语义的形式代表空间的结构和其中的物体。在完成空间设置后，便可以运行沉浸的空间级AR体验。
应用场景方面，通过场景感知功能，可以出支持空间遮挡、物理交互的空间级AR效果。
实际应用场景
目前已经有一些独立者开始尝试用透视API探索AR透视的应用场景，与此同时，Meta的合作伙伴们也正在游戏、视频等有趣的应用或功能，比如Unity Labs、YouTube VR、Spatial。
1）《The World Beyond》
从《The World Beyond》宣传视频来看，这个demo将融合AR透视、手势识别、虚实融合的物理交互、AR/VR场景融合等多种功能，营造了一种沉浸感十足的虚实体验。
Meta Reality Labs混合现实孵化团队表示：Presence Platform加速了AR混合现实内容的流程，只用几周时间，我们就了《The World Beyond》demo。这是一款支持Quest 2的迷你游戏，其特点是将透视与VR结合，你可以与游戏中的动物Oppy互动，沉浸感足够。
在视频演示中，可以看到玩家首先用手柄来设定边界，以及映射场景，而之后的游戏交互分则支持手势。FRL表示：用户只需要对场景进行一次映射，因为Insight SDK的空间锚点功能可以在空间中持续保存映射信息。
Insight SDK还有一个功能，就是让用户划定透视的区域，可实现透视和VR画面混合的效果。而且对于用户来讲，限制透视画面小也有助于保护隐私。
同时，基于Insight SDK的透视AR将支持遮挡，不仅AR画面可模拟与真实物体的遮挡，真实物体与VR背景也可以实现遮挡（语义感知功能），虚实融合的效果足够自然。
为了进一步增强沉浸感，《The World Beyond》还在AR物体上加入了动态的阴影效果，也就是说AR的影子也能感知周围环境，并模拟物理规律做出变化。
有趣的是，该应用还展示了在透视模式中，可以通过手势同时与AR和VR交互的效果，而且在透视模式中你的手势也能与虚拟物体产生遮挡。实际上，这种细致自然的遮挡将需要准确的语义分割效果，宣传片中效果看起来足够好，未来真实的体验是否如此将值得期待。
2）《Unity Slices：Table》
Unity Labs表示：这款应用的目的是，将AR棋盘等游戏自然叠加在任何桌面上。Quest 2目前不支持准确的自动桌面识别，因此在这款游戏时，我们用VR手柄来定位桌面，效果足够好。也就是说，你在玩这款游戏之前，也需要用VR手柄进行校正，然后将手柄放在桌面上才能开始玩。
此外，由于这是一款多人游戏，还需要确保每个玩家都能将AR棋盘的位置与桌面对齐。在完成优化后，发现效果足够好且足够沉浸，尤其是你可以听到其他玩家敲桌子的声音，同时能看到他敲你自己桌子的效果，仿佛你和他在同一个空间。
为了进一步增强游戏的交互性，Unity Labs团队为游戏中的棋子加入了互动元素，比如你可以用手指将棋子按下去等等。但考虑到Quest的手势识别技术难以到手指上下移动的变化，于是将棋子从圆柱形改成扁平，这样你可以触碰桌面来移动棋子，简化了手势识别的问题。
另外，Passthrough API可以让者设定透视范围，利用该功能，Unity Labs在使用者的手上创建了遮挡网格，这样透视模式中的手便可以和虚拟内容自然融合。有趣的是，《Unity Slices：Table》的宣传视频中可以看到透视模式中的手势识别效果不够稳定，会出现类似于游戏中“穿模”的效果。
Unity Labs还在游戏中的棋盘上设计了一个开关，可以让你在VR和AR两种模式之间自然切换，而且还可以设置透视模式和VR模式的范围，比如混合VR背景和AR透视背景。这样做的好处是，可以保证沉浸的VR游戏体验，同时还能看到周围环境，不摘下头显就能和周围环境互动。
值得注意的是，你甚至可以将VR中的棋子放在透视环境中，视频效果看起来相当神奇。
3）《YouTube VR》新功能
为了优化在VR中使用YouTube看视频的体验感，YouTube VR应用陆续支持了手势识别、查看评论等功能。接下来，该应用将支持AR透视模式，这意味着你可以将YouTube视频固定在自己家墙壁上，供随时查看。这种效果类似于虚拟的电视，或是动态的数字屏。
4）《Spatial》
《Spatial》最开始是一款AR会议应用，后来为了满足市场对于虚拟会议的需求，这款应用陆续登陆Quest 2等VR平台，以及网页端和移动端。
接下来，《Spatial》将支持Quest透视模式，形式同样是将VR场景与透视场景融合。对于一些基础外观的物品，你可能很难区分虚拟和现实的边界，不过对于细的凳子腿，Passthrough API的效果会差一些。
同时，透视与VR融合的效果也有望提升安全性，比如当你在VR场景中看电影时，你可能想躺在家里的沙发上，如果开启对沙发的透视，你可以准确定位沙发的位置。
实际上，这种形式与Meta此前展示的Infinite Office有点类似。参考：fb
免责声明：文中图片均来源于网络，如有版权问题请联系我们进行删除！
