標籤彙整: unity

AI 將如何重寫 VR 開發:Unite 2025 揭示的工具鏈革新

廣告

Unite 2025 的討論中,有一項主題始終不斷被提起,生成式 AI 正在重新定義虛擬實境與混合實境的開發方式。Meta 在今年的發表內容中首次展示完整的 AI 工具鏈,從程式碼撰寫到效能分析,再到內容建構,都可以藉由 AI 加速、補強,甚至協助自動化。這一波技術的整合性遠超過以往任何年度更新,使得 VR 開發不再只是「工具變得更好」,而是「整個流程將被 AI 重新排列」。

Met軟體工程師 Neel Bedekar 分享了 Meta Horizo​​n OS 最新的 AI 工具突破。AI 的角色不再侷限於應用內的 NPC 演算或敘事內容生成,而是深入參與開發者的日常工作流程。許多團隊已開始在建置階段使用 AI 協助除錯、產生場景、修復腳本、生成動畫,甚至用 AI 產製行銷素材。這讓 VR 的開發成本不再像過去那樣一次性堆疊,而是能透過一個更靈活的工具網絡逐步縮短時間與人力投入。

今年最受矚目的功能之一是 Passthrough Camera API 的全新應用方式,它讓 VR 與 MR 的邊界更靠近現實。開發者可以利用前置攝像頭的影像做物件偵測,並讓 AI 自動辨認植物、玩具或其他家庭物件,使遊戲與應用在真實環境中產生新的互動方式。這些技術不再是前沿研究,而是 Meta 以 Building Blocks 形式提供的標準功能,使開發者能以極低門檻打造混合實境應用。

Passthrough Camera API

AI 在 Meta Horizon OS 中的核心進展則集中在 Model Context Protocol(MCP) 上。Meta 讓 AI 代理能直接讀取 Horizon OS 文檔、生成 Unity 或 Android 程式碼、協助建置手部追蹤功能、回答錯誤訊息,甚至能解析效能工具 Perfetto 的資料。以往開發者需要長時間爬文、讀 trace、分析 CPU/GPU 行為,如今 AI 能立即生成可讀性高的摘要並指出異常區段,使效能優化成為具備更高效率的過程。

AI 分析 Perfetto 追蹤並識別各種問題。
META UNITY 2025 利用AI輔助生成程式碼 – 抓取互動

這一整套流程展現出一種「由 AI 引導迭代」的可能性,而不只是「AI 協助改善」。Meta 展示的工作流程中,開發者能透過自然語言生成 Unity 場景框架,快速擁有可運行的原型,再透過 Asset Library 補充素材,加上 AI Building Blocks 產生智能互動,最後使用 Immersive Debugger 在頭顯內調整邏輯、在 MCP 內完成效能優化。這些階段之間的邏輯線變得更平滑,使得 VR 開發首次能以「天數」為單位完成原型,而不再需要「數週甚至數月」。

Unite 2025 凸顯 VR 產業正在邁向一個新的分界點。過去 VR 開發難以普及的核心原因,包括複雜的工具鏈、不透明的效能成本與跨平台配置負擔,如今正在因 AI 而被逐項瓦解。Meta 以一系列工具組合展示了未來 VR 與 MR 開發可能的面貌:創作者可以把更多時間放在構築想像,而不是與技術門檻搏鬥。AI 不只是輔助,而是新時代的核心工作夥伴。

Meta Horizon OS 的新工具:讓 VR 開發節奏變得更直覺、更快速

廣告

Unite 2025 的現場,Meta 將重心放在如何讓開發者以更低摩擦、更快速迭代的方式進入 VR 與混合實境的開發流程。對許多已熟悉 Unity 的創作者而言,VR 過去代表更多設定、更多除錯步驟與更長的迭代時間,而 Meta 今年展示的工具組明顯針對這些痛點進行了全面性的重新設計。開發者不再需要在多個視窗、裝置或外部工具之間跳轉,而是能在更整合、更連貫的環境中完成從原型到成品的流程。

Meta Quest Developer Hub(MQDH)在這次大會中扮演關鍵角色。這個桌面應用程式被重新定位為「開發指揮中心」,讓開發者能在單一介面中管理裝置、部署版本、監控效能、下載 SDK 與示例。過去需要分散操作的繁瑣步驟,如 USB 除錯設定、裝置管理或檢查 API 工具版本,如今都能透過 MQDH 自動化或簡化。這代表開發者能把更多時間投入到設計本身,而不是設定環境。

在 Unity Editor 內部,Project Setup Tool 成為另一個引起開發者注目的新功能。傳統 VR 開發常因設定錯誤、OpenXR 配置不一致、Android 建置版本混亂等問題而耗費時間,而這項工具能在幾次按鍵之間修正專案的核心設定,使整體環境符合 Meta Horizon OS 的建置要求。開發者不再需要查找論壇或重新建立專案,而是能安心地在受控環境下工作。

Building Blocks 被視為本次 Unite 最能體現「降低開發門檻」的展示。這些模組以可拖曳、可擴充的方式提供核心 VR 能力,開發者只需數個步驟即可加入 Passthrough、手部追蹤、空間定位、多人連線等複雜功能。這不只是加速原型製作,也讓團隊能更專注於遊戲與應用的獨特設計,而非底層功能的重複實作。AI Building Blocks 更是首次以模組形式亮相,讓開發者能直接在專案中接入 LLM,賦予應用智能互動或語意理解的能力。

在快速迭代方面,Meta XR Simulator 2.0 的展示引發大量討論。開發者可以不戴頭顯,在桌面環境中使用鍵盤、滑鼠或控制器模擬使用者的 VR 行為。這大幅提高測試速度,尤其在早期流程中,能避免每一次更改都需要進入頭顯確認。而對於真正需要進入 VR 的調試,Immersive Debugger 提供了在頭顯內檢查變數、查看 console log 與調整遊戲參數的能力,使開發者能以身臨其境的方式完成除錯流程。

Meta 在展示中也引導開發者關注 North Star 這個開源示例。這個 Unity 專案集合了 Meta 最新的最佳實踐,包括高品質渲染、空間音效、手部追蹤與物理互動。與其說是示例,不如說是「反向拆解教學」,開發者能在其中學習完整架構的互動方式與優化策略。

透過這些工具,Meta 想傳達的訊息十分清晰:VR 開發不該是沉重的,也不是只能依靠高門檻技術的領域。當工具鏈變得更緊密,迭代速度變得更快,原型製作變得更直觀,Unity 開發者便能把重心放在真正重要的部分,創作本身。

Unity × Meta Horizon OS:Unite 2025 展示 VR 開發者的下一個十年

廣告

Unite 2025 的現場比往年更加擁擠,來自世界各地的 Unity 開發者齊聚會場,而今年的氣氛比以往更明確地指向同一件事,開發者正準備進入一個新的創作階段,而這個階段明顯與虛擬實境與混合實境的未來息息相關。對 Meta 來說,這正是一個向 Unity 生態展示 Meta Horizon OS 潛力的最佳時機。在多場座無虛席的技術分享與展區互動展示中,Meta 將整個平台的現況、未來方向與開發環境的完整性呈現給開發者,並希望讓熟悉 Unity 的創作者理解:他們已經擁有開發 VR 的大部分技能,而 Meta 目前的開發工具則致力於縮短從構想到實作品的距離。

今年的 Unite 不再只是展示引擎技術,而更像是一場針對創作者的重新對話。許多開發者帶著明確問題進入場內,例如現有的 Unity 能力是否能快速轉換為 VR 開發?Meta Quest 在實際市場上的受眾變化如何?快速開發混合實境功能是否真的不需要過多準備?Meta 在會場上提供的答案則相對直接──VR 開發不再是高度門檻的領域,而是 Unity 熟練者可以自然踏進的新創作空間。

Meta 將 Horizon OS 描述為一個擁有沉浸感、互動深度與空間理解能力的平台,而 Meta Quest 作為硬體載體,透過姿態追蹤、手勢偵測、語音互動與空間錨點等能力,讓 Unity 開發者熟悉的工具擴展到全新的表現層面。對許多開發者而言,這代表著從 3D 遊戲創作轉向沉浸式內容不再需要「重新學習」,而是一種自然延伸。
在現場展示中,Meta 將成功類型作為平台方向的重要訊號,包括社交混亂型 VR 遊戲、擁有「巨型舞台感」的娛樂體驗、注重沉浸感的第一人稱敘事遊戲、能在 VR 中提升工作效率的生產力工具,以及以 passthrough 與空間錨點實現的混合實境玩法。受眾的需求比以往更加多元,而 Unity 正是這些內容的核心底層。

另一方面,Meta 也希望透過 Unite 讓開發者理解 Horizon OS 生態系的成長速度。在會場分享中,平台上已有超過 300 款應用突破百萬美元營收,其中十款更突破五千萬等級。而隨著 Quest 受眾逐漸年輕化與更加社群化,社交導向與高重玩性的遊戲正在形成新趨勢。這些改變不僅來自頭戴裝置本身,也源自更成熟的商店機制與用戶行為模式,開發者正在一個比以往更健康的市場中創作。

Meta 在 Unite 2025 揭示的方向明確指向 VR 與 MR 的下一個階段:降低開發門檻、提高迭代效率、提供 AI 參與的工具鏈,以及建立能支撐大型產品的開發流程。Meta Horizon OS 不再只是 VR 遊戲的平台,而被重新定位為一個足以支援完整工作流、創新應用與跨領域沉浸體驗的系統。

在這樣的背景下,Unity 與 Meta Horizon OS 的結合不再被視為跨界,而更像是相互補完的自然進程。對開發者來說,VR 已經不再是未來,而是正在發生的現在,而 Unite 2025 所呈現的正是這個「現在」的完整縮影。

WorldGen:從一句文字生成完整 3D 世界的最新 AI 研究突破

廣告

Meta 最新公開的 WorldGen 研究展示了生成式 AI 正在改變 3D 世界構建方式的速度。這套系統能從一句簡單的文字提示開始,自動產生可自由探索、可導航、風格統一且具備互動潛力的完整 3D 世界。過去生成式 AI 在 3D 領域的應用多半集中於單一物件、短片段或有限區域的場景,而 WorldGen 則將目標放在可實際用於遊戲、模擬與社交空間的「大型、連續、可行走的世界」,並且在生成品質與結構合理性上都呈現出顯著突破。

WorldGen 的技術由多階段組成,首先透過提示生成場景的概念規劃,包括世界底層佈局、建物位置與可行走區域,並建立程序化 blockout 與導航網格,確保最終世界可以讓角色實際在其中移動。接著系統會先產生一張全局參考影像,再利用 2D 圖像重建 3D 場景,並以整體視角推導空間結構,而不是只依靠單一相機角度。這也使得場景在玩家移動後,不會因離開中心視角而產生紋理崩壞或幾何變形。之後,WorldGen 會利用加速版 AutoPartGen 將場景拆解成可管理的物件與區域,例如牆面、地形、家具、植被等,使世界能夠被引擎正常載入、被創作者自由調整,也更便於後續優化。最後系統再進行紋理強化、mesh 修正與整體視覺一致性的細化,使場景在接近檢視時仍能呈現穩定細節。

相較於目前普遍以單一視角生成 3D 場景的方法,WorldGen 最大的差異在於空間完整性與規模擴展。許多現有生成工具即使能做出華麗影像,也常在玩家移動 3、5 公尺後畫面立即崩壞,或者在同一世界內混雜風格無關的物件。WorldGen 則在研究階段已能生成 50 x 50 公尺的統一場景,在建築、材質與空間邏輯上保持一致,並且能被直接匯入 Unity 與 Unreal 等遊戲引擎,無需額外轉檔或重新處理渲染流程。對產業工作流程而言,這代表未來開發者不必先用大量人力打造原型場景,而是可依靠 WorldGen 進行初版世界生成,再逐步投入風格化調整與互動設計。

儘管如此,Meta 強調 WorldGen 仍處於研究階段,尚未對外發布。現有版本仍在生成速度與世界最大規模上存在限制,也需要更深入的交互式物理支援。然而從研究展示來看,它已顯示 AI 生成世界的可行性正式跨過關鍵門檻,並朝向大型多人場景、訓練模擬、城市規劃與娛樂內容等領域擴展,而非僅作為展示材料。

WorldGen 所透露的方向與 Meta Connect 提出的願景一致:讓創作者不必依靠複雜工具或專業美術能力,而是透過自然語言描述就能生成完整虛擬世界。這不只減少開發成本,也重新定義 3D 創作的門檻。過去需要大量建模與美術協作才能完成的場景,未來可能只需一句描述與少量後製調整即可完成。從遊戲到企業訓練,再到混合實境的社交互動空間,WorldGen 展示的概念都指向同一個方向:虛擬世界的生產方式正在邁入 AI 時代,而世界的建造者,也將變得比以往更多。

Meta推出Mesh API和Depth API:打造更真實的混合現實體驗

廣告

Meta近日推出了全新的Mesh API(支援Unity和Unreal)以及Depth API的實驗版本(亦支援Unity和Unreal),這兩大新功能的目標是使混合現實(MR)體驗中的互動更加自然和真實。

真實性在混合現實應用中極為重要。當虛擬物體的移動或互動方式讓人感覺不自然時,這會破壞真實感,從而干擾用戶體驗。無論是在真實牆上彈跳虛擬球還是看虛擬角色走在真實咖啡桌後面,MR中的互動和虛擬物體應該如同真實生活中的物體一樣自然。

Mesh API: 提供了訪問Scene Mesh的能力,它是一個將物理世界重建為單一三角形網格的幾何表示。這意味著,開發者可以獲得用戶環境的更細緻表示,進而生成更真實的物理效果、輔助AI導航並精確地放置內容。

  • 真實的物理效果:當一個虛擬球在空間中彈跳,或者虛擬雷射射向物體時,Mesh API 確保它們有著真實的碰撞效果。
  • 智能的導航與避障:透過這項技術,虛擬物件可以避免與真實物體相交,提供更自然的互動體驗。
  • 精確的內容放置:無論是遊戲、設計還是學習應用,用戶都可以將虛擬物件精確地放置在所希望的位置。

Depth API 則採用了不同的方法,它提供一個即時深度圖,能夠捕捉從用戶視角看到的真實世界的深度。這為虛擬物體與真實世界之間的動態互動提供了更高的可信度。

  • 動態遮蔽:當實體物件,如家具,擋在虛擬寵物前時,Depth API 確保虛擬寵物會被適當地遮蔽或隱藏,增強真實感。
  • 無縫的社交和遊戲體驗:無論是與虛擬角色互動,還是享受多人遊戲,Depth API 確保3D虛擬物體不會與真實的物體和人員發生干擾。
  • 創新的視覺效果:從霧的效果到光影遊戲,這項技術為開發者提供了一系列的工具,創造更加吸引人的視覺效果。
借助 Depth API,您可以透過遮蔽支援或準確隱藏或掩蓋實體物件後面的虛擬元素的能力,為這些類型的與深度相關的互動問題提供解決方案。

為了構建真實的混合現實應用,建議同時使用Depth和Scene Mesh API。這兩個API都是為了充分利用現有的Presence Platform MR功能而設計的,支援涉及用戶物理環境的動態互動。

Meta Quest 3 透過 Mesh API 和 Depth API,為混合現實技術設定了新的標準。它不僅僅是一款VR裝置,更是一個開放的平台,允許開發者和用戶在更真實、更沉浸的虛擬世界中探索、學習和創建。隨著這些技術的發展,我們可以期待一個更加自然、真實和有趣的虛擬未來。

Phanto Reference App Demo

將最新內容直接傳送到你的收件匣