標籤彙整: Generative AI

AI 將如何重寫 VR 開發:Unite 2025 揭示的工具鏈革新

廣告

Unite 2025 的討論中,有一項主題始終不斷被提起,生成式 AI 正在重新定義虛擬實境與混合實境的開發方式。Meta 在今年的發表內容中首次展示完整的 AI 工具鏈,從程式碼撰寫到效能分析,再到內容建構,都可以藉由 AI 加速、補強,甚至協助自動化。這一波技術的整合性遠超過以往任何年度更新,使得 VR 開發不再只是「工具變得更好」,而是「整個流程將被 AI 重新排列」。

Met軟體工程師 Neel Bedekar 分享了 Meta Horizo​​n OS 最新的 AI 工具突破。AI 的角色不再侷限於應用內的 NPC 演算或敘事內容生成,而是深入參與開發者的日常工作流程。許多團隊已開始在建置階段使用 AI 協助除錯、產生場景、修復腳本、生成動畫,甚至用 AI 產製行銷素材。這讓 VR 的開發成本不再像過去那樣一次性堆疊,而是能透過一個更靈活的工具網絡逐步縮短時間與人力投入。

今年最受矚目的功能之一是 Passthrough Camera API 的全新應用方式,它讓 VR 與 MR 的邊界更靠近現實。開發者可以利用前置攝像頭的影像做物件偵測,並讓 AI 自動辨認植物、玩具或其他家庭物件,使遊戲與應用在真實環境中產生新的互動方式。這些技術不再是前沿研究,而是 Meta 以 Building Blocks 形式提供的標準功能,使開發者能以極低門檻打造混合實境應用。

Passthrough Camera API

AI 在 Meta Horizon OS 中的核心進展則集中在 Model Context Protocol(MCP) 上。Meta 讓 AI 代理能直接讀取 Horizon OS 文檔、生成 Unity 或 Android 程式碼、協助建置手部追蹤功能、回答錯誤訊息,甚至能解析效能工具 Perfetto 的資料。以往開發者需要長時間爬文、讀 trace、分析 CPU/GPU 行為,如今 AI 能立即生成可讀性高的摘要並指出異常區段,使效能優化成為具備更高效率的過程。

AI 分析 Perfetto 追蹤並識別各種問題。
META UNITY 2025 利用AI輔助生成程式碼 – 抓取互動

這一整套流程展現出一種「由 AI 引導迭代」的可能性,而不只是「AI 協助改善」。Meta 展示的工作流程中,開發者能透過自然語言生成 Unity 場景框架,快速擁有可運行的原型,再透過 Asset Library 補充素材,加上 AI Building Blocks 產生智能互動,最後使用 Immersive Debugger 在頭顯內調整邏輯、在 MCP 內完成效能優化。這些階段之間的邏輯線變得更平滑,使得 VR 開發首次能以「天數」為單位完成原型,而不再需要「數週甚至數月」。

Unite 2025 凸顯 VR 產業正在邁向一個新的分界點。過去 VR 開發難以普及的核心原因,包括複雜的工具鏈、不透明的效能成本與跨平台配置負擔,如今正在因 AI 而被逐項瓦解。Meta 以一系列工具組合展示了未來 VR 與 MR 開發可能的面貌:創作者可以把更多時間放在構築想像,而不是與技術門檻搏鬥。AI 不只是輔助,而是新時代的核心工作夥伴。

WorldGen:從一句文字生成完整 3D 世界的最新 AI 研究突破

廣告

Meta 最新公開的 WorldGen 研究展示了生成式 AI 正在改變 3D 世界構建方式的速度。這套系統能從一句簡單的文字提示開始,自動產生可自由探索、可導航、風格統一且具備互動潛力的完整 3D 世界。過去生成式 AI 在 3D 領域的應用多半集中於單一物件、短片段或有限區域的場景,而 WorldGen 則將目標放在可實際用於遊戲、模擬與社交空間的「大型、連續、可行走的世界」,並且在生成品質與結構合理性上都呈現出顯著突破。

WorldGen 的技術由多階段組成,首先透過提示生成場景的概念規劃,包括世界底層佈局、建物位置與可行走區域,並建立程序化 blockout 與導航網格,確保最終世界可以讓角色實際在其中移動。接著系統會先產生一張全局參考影像,再利用 2D 圖像重建 3D 場景,並以整體視角推導空間結構,而不是只依靠單一相機角度。這也使得場景在玩家移動後,不會因離開中心視角而產生紋理崩壞或幾何變形。之後,WorldGen 會利用加速版 AutoPartGen 將場景拆解成可管理的物件與區域,例如牆面、地形、家具、植被等,使世界能夠被引擎正常載入、被創作者自由調整,也更便於後續優化。最後系統再進行紋理強化、mesh 修正與整體視覺一致性的細化,使場景在接近檢視時仍能呈現穩定細節。

相較於目前普遍以單一視角生成 3D 場景的方法,WorldGen 最大的差異在於空間完整性與規模擴展。許多現有生成工具即使能做出華麗影像,也常在玩家移動 3、5 公尺後畫面立即崩壞,或者在同一世界內混雜風格無關的物件。WorldGen 則在研究階段已能生成 50 x 50 公尺的統一場景,在建築、材質與空間邏輯上保持一致,並且能被直接匯入 Unity 與 Unreal 等遊戲引擎,無需額外轉檔或重新處理渲染流程。對產業工作流程而言,這代表未來開發者不必先用大量人力打造原型場景,而是可依靠 WorldGen 進行初版世界生成,再逐步投入風格化調整與互動設計。

儘管如此,Meta 強調 WorldGen 仍處於研究階段,尚未對外發布。現有版本仍在生成速度與世界最大規模上存在限制,也需要更深入的交互式物理支援。然而從研究展示來看,它已顯示 AI 生成世界的可行性正式跨過關鍵門檻,並朝向大型多人場景、訓練模擬、城市規劃與娛樂內容等領域擴展,而非僅作為展示材料。

WorldGen 所透露的方向與 Meta Connect 提出的願景一致:讓創作者不必依靠複雜工具或專業美術能力,而是透過自然語言描述就能生成完整虛擬世界。這不只減少開發成本,也重新定義 3D 創作的門檻。過去需要大量建模與美術協作才能完成的場景,未來可能只需一句描述與少量後製調整即可完成。從遊戲到企業訓練,再到混合實境的社交互動空間,WorldGen 展示的概念都指向同一個方向:虛擬世界的生產方式正在邁入 AI 時代,而世界的建造者,也將變得比以往更多。