Meta近日推出了全新的Mesh API（支援Unity和Unreal）以及Depth API的實驗版本（亦支援Unity和Unreal），這兩大新功能的目標是使混合現實(MR)體驗中的互動更加自然和真實。

真實性在混合現實應用中極為重要。當虛擬物體的移動或互動方式讓人感覺不自然時，這會破壞真實感，從而干擾用戶體驗。無論是在真實牆上彈跳虛擬球還是看虛擬角色走在真實咖啡桌後面，MR中的互動和虛擬物體應該如同真實生活中的物體一樣自然。

Mesh API: 提供了訪問Scene Mesh的能力，它是一個將物理世界重建為單一三角形網格的幾何表示。這意味著，開發者可以獲得用戶環境的更細緻表示，進而生成更真實的物理效果、輔助AI導航並精確地放置內容。

• 真實的物理效果：當一個虛擬球在空間中彈跳，或者虛擬雷射射向物體時，Mesh API 確保它們有著真實的碰撞效果。
• 智能的導航與避障：透過這項技術，虛擬物件可以避免與真實物體相交，提供更自然的互動體驗。
• 精確的內容放置：無論是遊戲、設計還是學習應用，用戶都可以將虛擬物件精確地放置在所希望的位置。

Depth API 則採用了不同的方法，它提供一個即時深度圖，能夠捕捉從用戶視角看到的真實世界的深度。這為虛擬物體與真實世界之間的動態互動提供了更高的可信度。

• 動態遮蔽：當實體物件，如家具，擋在虛擬寵物前時，Depth API 確保虛擬寵物會被適當地遮蔽或隱藏，增強真實感。
• 無縫的社交和遊戲體驗：無論是與虛擬角色互動，還是享受多人遊戲，Depth API 確保3D虛擬物體不會與真實的物體和人員發生干擾。
• 創新的視覺效果：從霧的效果到光影遊戲，這項技術為開發者提供了一系列的工具，創造更加吸引人的視覺效果。

為了構建真實的混合現實應用，建議同時使用Depth和Scene Mesh API。這兩個API都是為了充分利用現有的Presence Platform MR功能而設計的，支援涉及用戶物理環境的動態互動。

Meta Quest 3 透過 Mesh API 和 Depth API，為混合現實技術設定了新的標準。它不僅僅是一款VR裝置，更是一個開放的平台，允許開發者和用戶在更真實、更沉浸的虛擬世界中探索、學習和創建。隨著這些技術的發展，我們可以期待一個更加自然、真實和有趣的虛擬未來。

---