在 Meta Horizon OS v76 更新中,Meta 正式開放 Passthrough Camera API 的公開使用權,讓開發者能在 Unity、Unreal/Native、Android 與 Meta Spatial SDK 等多種開發環境中存取 Meta Quest 3 與 3S 裝置的前鏡頭影像。此舉象徵著混合實境應用正式進入一個新階段,也讓支援這項 API 的應用能夠直接上架至 Meta Horizon Store。網頁端 WebXR 的支援則預計於 v77 推出。
Passthrough Camera API 的基礎是 Android 的 Camera2 API,讓開發者能在熟悉的架構下快速整合功能。這項功能將擴展 AR 互動性,使應用能透過影像辨識、機器學習與電腦視覺實作更多場景,包含即時物件追蹤、圖像紋理轉換、情境反應遊戲內容與環境感知。
開發應用示例也在近期的 GDC 活動中展出。例如 Niantic Spatial 便整合了 API 提供的實時前鏡頭影像,搭配其 SDK 的語意分割與視覺定位系統(VPS),實現物件辨識與導覽功能。應用中可看到虛擬角色依據現實空間導航使用者,並加上 3D 紋理強化場景感,適用於無法依賴 GPS 的場域如展館或大型活動會場。
除娛樂領域外,Passthrough Camera API 亦具備實際應用潛力。CGS Immersive 便利用該 API 開發出伺服器維護輔助工具,技術人員可戴上 Quest 3S 眼鏡,在不需拍照與傳輸的情況下,即時檢查光纖接線是否正確。系統可識別錯誤插孔並提供視覺提示,加速檢測流程,甚至可於離線狀態下本地執行紀錄任務,提高現場作業效率。
Unity:GitHub 上的範例專案包含五個場景,展示 WebCamTexture 與 Android Camera2 API 的整合應用,支援亮度估算、物件偵測與著色器特效; Unreal/Native:開發者可參考官方文件以了解效能建議與常見問題; Android 與 Spatial SDK:提供範例專案與整合指南,便於在面板應用中實作相關功能; WebXR:將於 v77 推出支援,預計會有對應的開發文件與 API 說明。
為了保護使用者隱私,Meta 強調開發者需遵循相關規範,包含應用啟動時的鏡頭存取授權提示、錄影指示標誌與使用者選擇權。所有透過 Passthrough Camera API 存取的影像均需經使用者明確同意,且開發者必須確保資料使用的透明與合規性。
Meta 表示,Passthrough Camera API 的正式釋出是推動混合實境邁向下一階段的重要基石,不僅加速應用開發流程,更為開發者帶來全新空間理解與互動的機會。官方也鼓勵開發者將創作成果分享到社群媒體,並使用 #PCAonQuest 標籤,以便更多人看見應用如何透過 Passthrough Camera API 煥發創新潛力。
一個革命性的操作系統和用戶界面 Apple Vision Pro由visionOS驅動,該系統是在macOS、iOS和iPadOS幾十年的工程創新基礎上構建的。visionOS提供強大的空間體驗,開啟了工作和生活中的新機會。全新的三維用戶界面和完全由使用者的眼睛、手和聲音控制的輸入系統,使導航感覺神奇。直觀的手勢允許使用者通過簡單地看著屏幕來與應用程序交互,輕點手指選擇,擺動手腕滾動,或者使用虛擬鍵盤或口述來輸入文字。使用Siri,使用者可以快速打開或關閉應用程序,播放媒體等。
Apple Vision Pro和環境 Apple Vision Pro在設計上考慮了環境,所有磁鐵中都使用了100%回收的稀土元素,多個印刷電路板中使用了100%回收的錫焊和金電鍍。機身和電池外殼含有100%回收的鋁,Light Seal和Solo Knit Band都由超過70%的回收紗線製成。Vision Pro符合蘋果對能源效率的高標準,並且不含有汞、溴化阻燃劑、PVC和鈹。包裝材料為100%纖維基材,使蘋果更接近其到2025年消除所有包裝中的塑料的目標。
同時,數據也顯示了一些小眾品牌的堅持與努力,比如Pimax 8K和Sony PlayStation VR。這些品牌的市占率雖然不高,但它們為特定的用戶群體提供了特別的服務。例如,Pimax 8K提供了業界領先的畫質,而Sony PlayStation VR則為PlayStation遊戲玩家提供了一個經濟實惠的VR入門選擇。
HMD的細節令人印象深刻:搭載Sony的IMX258影像感應器,這款1/3.06英寸的1300萬像素自動對焦傳感器,不僅解析度達到4208 x 3120,還能在極小的模組尺寸中實現(8.5 x 8.5mm,高度不超過5mm),這樣的設計使得HMD的攜帶與佩戴變得更加方便。結合KANTATSU 5P + Polymer Lens的鏡頭配置,它提供了85.3度的視野角和F2.0的光圈,即便在低照度條件下也能保持清晰的視覺效果。