標籤彙整: Passthrough Camera API

AI 將如何重寫 VR 開發:Unite 2025 揭示的工具鏈革新

廣告

Unite 2025 的討論中,有一項主題始終不斷被提起,生成式 AI 正在重新定義虛擬實境與混合實境的開發方式。Meta 在今年的發表內容中首次展示完整的 AI 工具鏈,從程式碼撰寫到效能分析,再到內容建構,都可以藉由 AI 加速、補強,甚至協助自動化。這一波技術的整合性遠超過以往任何年度更新,使得 VR 開發不再只是「工具變得更好」,而是「整個流程將被 AI 重新排列」。

Met軟體工程師 Neel Bedekar 分享了 Meta Horizo​​n OS 最新的 AI 工具突破。AI 的角色不再侷限於應用內的 NPC 演算或敘事內容生成,而是深入參與開發者的日常工作流程。許多團隊已開始在建置階段使用 AI 協助除錯、產生場景、修復腳本、生成動畫,甚至用 AI 產製行銷素材。這讓 VR 的開發成本不再像過去那樣一次性堆疊,而是能透過一個更靈活的工具網絡逐步縮短時間與人力投入。

今年最受矚目的功能之一是 Passthrough Camera API 的全新應用方式,它讓 VR 與 MR 的邊界更靠近現實。開發者可以利用前置攝像頭的影像做物件偵測,並讓 AI 自動辨認植物、玩具或其他家庭物件,使遊戲與應用在真實環境中產生新的互動方式。這些技術不再是前沿研究,而是 Meta 以 Building Blocks 形式提供的標準功能,使開發者能以極低門檻打造混合實境應用。

Passthrough Camera API

AI 在 Meta Horizon OS 中的核心進展則集中在 Model Context Protocol(MCP) 上。Meta 讓 AI 代理能直接讀取 Horizon OS 文檔、生成 Unity 或 Android 程式碼、協助建置手部追蹤功能、回答錯誤訊息,甚至能解析效能工具 Perfetto 的資料。以往開發者需要長時間爬文、讀 trace、分析 CPU/GPU 行為,如今 AI 能立即生成可讀性高的摘要並指出異常區段,使效能優化成為具備更高效率的過程。

AI 分析 Perfetto 追蹤並識別各種問題。
META UNITY 2025 利用AI輔助生成程式碼 – 抓取互動

這一整套流程展現出一種「由 AI 引導迭代」的可能性,而不只是「AI 協助改善」。Meta 展示的工作流程中,開發者能透過自然語言生成 Unity 場景框架,快速擁有可運行的原型,再透過 Asset Library 補充素材,加上 AI Building Blocks 產生智能互動,最後使用 Immersive Debugger 在頭顯內調整邏輯、在 MCP 內完成效能優化。這些階段之間的邏輯線變得更平滑,使得 VR 開發首次能以「天數」為單位完成原型,而不再需要「數週甚至數月」。

Unite 2025 凸顯 VR 產業正在邁向一個新的分界點。過去 VR 開發難以普及的核心原因,包括複雜的工具鏈、不透明的效能成本與跨平台配置負擔,如今正在因 AI 而被逐項瓦解。Meta 以一系列工具組合展示了未來 VR 與 MR 開發可能的面貌:創作者可以把更多時間放在構築想像,而不是與技術門檻搏鬥。AI 不只是輔助,而是新時代的核心工作夥伴。

Passthrough Camera API 正式開放,混合實境體驗再進化

廣告

在 Meta Horizon OS v76 更新中,Meta 正式開放 Passthrough Camera API 的公開使用權,讓開發者能在 Unity、Unreal/Native、Android 與 Meta Spatial SDK 等多種開發環境中存取 Meta Quest 3 與 3S 裝置的前鏡頭影像。此舉象徵著混合實境應用正式進入一個新階段,也讓支援這項 API 的應用能夠直接上架至 Meta Horizon Store。網頁端 WebXR 的支援則預計於 v77 推出。

Passthrough Camera API 的基礎是 Android 的 Camera2 API,讓開發者能在熟悉的架構下快速整合功能。這項功能將擴展 AR 互動性,使應用能透過影像辨識、機器學習與電腦視覺實作更多場景,包含即時物件追蹤、圖像紋理轉換、情境反應遊戲內容與環境感知。

開發應用示例也在近期的 GDC 活動中展出。例如 Niantic Spatial 便整合了 API 提供的實時前鏡頭影像,搭配其 SDK 的語意分割與視覺定位系統(VPS),實現物件辨識與導覽功能。應用中可看到虛擬角色依據現實空間導航使用者,並加上 3D 紋理強化場景感,適用於無法依賴 GPS 的場域如展館或大型活動會場。

另一例來自 Resolution Games,展示了將使用者的臉部影像貼附於虛擬布偶上,提供更具個人化與趣味性的互動體驗。藉由現實影像的導入,遊戲場景能與使用者環境紋理融合,使遊戲感受更具臨場感。

除娛樂領域外,Passthrough Camera API 亦具備實際應用潛力。CGS Immersive 便利用該 API 開發出伺服器維護輔助工具,技術人員可戴上 Quest 3S 眼鏡,在不需拍照與傳輸的情況下,即時檢查光纖接線是否正確。系統可識別錯誤插孔並提供視覺提示,加速檢測流程,甚至可於離線狀態下本地執行紀錄任務,提高現場作業效率。

其他實用場景還包括:

教育訓練類應用可透過視覺辨識輔助使用者操作,如教導吉他彈奏時指示按弦位置與正確節奏; 體育健身應用可偵測特定器材,如啞鈴或壺鈴,並據此設計客製化訓練菜單; 動物園導覽類應用可根據辨識出的動物提供即時資料解說; 設計與建築應用可依據使用者空間中現有的光線與紋理調整虛擬物件外觀,使其與實境和諧共存。

為協助開發者快速上手,Meta 提供了多個範例專案與教學文件:

Unity:GitHub 上的範例專案包含五個場景,展示 WebCamTexture 與 Android Camera2 API 的整合應用,支援亮度估算、物件偵測與著色器特效; Unreal/Native:開發者可參考官方文件以了解效能建議與常見問題; Android 與 Spatial SDK:提供範例專案與整合指南,便於在面板應用中實作相關功能; WebXR:將於 v77 推出支援,預計會有對應的開發文件與 API 說明。

為了保護使用者隱私,Meta 強調開發者需遵循相關規範,包含應用啟動時的鏡頭存取授權提示、錄影指示標誌與使用者選擇權。所有透過 Passthrough Camera API 存取的影像均需經使用者明確同意,且開發者必須確保資料使用的透明與合規性。

Meta 表示,Passthrough Camera API 的正式釋出是推動混合實境邁向下一階段的重要基石,不僅加速應用開發流程,更為開發者帶來全新空間理解與互動的機會。官方也鼓勵開發者將創作成果分享到社群媒體,並使用 #PCAonQuest 標籤,以便更多人看見應用如何透過 Passthrough Camera API 煥發創新潛力。