Passthrough Camera API 正式開放,混合實境體驗再進化

廣告

在 Meta Horizon OS v76 更新中,Meta 正式開放 Passthrough Camera API 的公開使用權,讓開發者能在 Unity、Unreal/Native、Android 與 Meta Spatial SDK 等多種開發環境中存取 Meta Quest 3 與 3S 裝置的前鏡頭影像。此舉象徵著混合實境應用正式進入一個新階段,也讓支援這項 API 的應用能夠直接上架至 Meta Horizon Store。網頁端 WebXR 的支援則預計於 v77 推出。

Passthrough Camera API 的基礎是 Android 的 Camera2 API,讓開發者能在熟悉的架構下快速整合功能。這項功能將擴展 AR 互動性,使應用能透過影像辨識、機器學習與電腦視覺實作更多場景,包含即時物件追蹤、圖像紋理轉換、情境反應遊戲內容與環境感知。

開發應用示例也在近期的 GDC 活動中展出。例如 Niantic Spatial 便整合了 API 提供的實時前鏡頭影像,搭配其 SDK 的語意分割與視覺定位系統(VPS),實現物件辨識與導覽功能。應用中可看到虛擬角色依據現實空間導航使用者,並加上 3D 紋理強化場景感,適用於無法依賴 GPS 的場域如展館或大型活動會場。

另一例來自 Resolution Games,展示了將使用者的臉部影像貼附於虛擬布偶上,提供更具個人化與趣味性的互動體驗。藉由現實影像的導入,遊戲場景能與使用者環境紋理融合,使遊戲感受更具臨場感。

除娛樂領域外,Passthrough Camera API 亦具備實際應用潛力。CGS Immersive 便利用該 API 開發出伺服器維護輔助工具,技術人員可戴上 Quest 3S 眼鏡,在不需拍照與傳輸的情況下,即時檢查光纖接線是否正確。系統可識別錯誤插孔並提供視覺提示,加速檢測流程,甚至可於離線狀態下本地執行紀錄任務,提高現場作業效率。

其他實用場景還包括:

教育訓練類應用可透過視覺辨識輔助使用者操作,如教導吉他彈奏時指示按弦位置與正確節奏; 體育健身應用可偵測特定器材,如啞鈴或壺鈴,並據此設計客製化訓練菜單; 動物園導覽類應用可根據辨識出的動物提供即時資料解說; 設計與建築應用可依據使用者空間中現有的光線與紋理調整虛擬物件外觀,使其與實境和諧共存。

為協助開發者快速上手,Meta 提供了多個範例專案與教學文件:

Unity:GitHub 上的範例專案包含五個場景,展示 WebCamTexture 與 Android Camera2 API 的整合應用,支援亮度估算、物件偵測與著色器特效; Unreal/Native:開發者可參考官方文件以了解效能建議與常見問題; Android 與 Spatial SDK:提供範例專案與整合指南,便於在面板應用中實作相關功能; WebXR:將於 v77 推出支援,預計會有對應的開發文件與 API 說明。

為了保護使用者隱私,Meta 強調開發者需遵循相關規範,包含應用啟動時的鏡頭存取授權提示、錄影指示標誌與使用者選擇權。所有透過 Passthrough Camera API 存取的影像均需經使用者明確同意,且開發者必須確保資料使用的透明與合規性。

Meta 表示,Passthrough Camera API 的正式釋出是推動混合實境邁向下一階段的重要基石,不僅加速應用開發流程,更為開發者帶來全新空間理解與互動的機會。官方也鼓勵開發者將創作成果分享到社群媒體,並使用 #PCAonQuest 標籤,以便更多人看見應用如何透過 Passthrough Camera API 煥發創新潛力。