Apple 正式向開發者釋出 visionOS 27 Beta 3,距離 Beta 2 推出約兩週。此次更新除了持續改善系統穩定性外,也進一步展示 Apple Vision Pro 未來在人工智慧、空間運算以及開發工具上的多項新功能,涵蓋 Siri AI、RealityKit、Reality Composer Pro 3、Unity 與 Godot 遊戲引擎支援,以及 Apple Immersive Video 等多項更新。
本次更新最受矚目的功能之一,仍是全新 Siri AI。相較於過去的 Siri,新版本具備更強大的自然語言理解能力,並整合 Apple Intelligence,可理解使用者目前正在觀看的內容,回答眼前物件、畫面或空間中的相關問題。Vision Pro 也新增可自由放置於空間中的 Siri Orb,讓 AI 助理真正融入空間運算體驗。
visionOS 27 也進一步強化空間內容瀏覽體驗。全景照片現在可直接轉換為沉浸式空間環境(Spatial Environment),此外新增 冰島 Thórsmörk 場景,包含冰川、山谷、極光等高品質沉浸式景觀。Safari 同時加入 Web Environment 支援,開發者可建立 360 度沉浸式網頁內容,讓 Vision Pro 的網頁瀏覽更加原生。
介面方面,Apple 將 App 視窗改為全新的弧形設計,使工作空間更符合 Vision Pro 的空間運算特性。控制中心重新整理版面配置,新增更小尺寸 Widget,而通知也能在使用者注視時自動展開,提高操作效率。
對於開發者而言,RealityKit 成為本次更新重點之一。Apple 加入全新的 Physical Space Lighting,讓虛擬物件能真正照亮真實環境;搭配 Projective Textures API,可模擬彩繪玻璃投影、水面光影等特殊效果。同時新增即時布料模擬(Real-time Cloth Simulation),讓旗幟、布幕、服裝等材質呈現更自然的物理效果。
音效部分則新增 Reverb Mesh API,可根據真實空間材質模擬聲音反射與吸收效果,提升空間音訊沉浸感。RealityKit 也開始支援 3D Gaussian Splats,讓高擬真 3D 掃描模型更容易整合至 Vision Pro 應用程式。
Apple 同步推出 Reality Composer Pro 3,新增 Live Preview 功能,讓開發者可直接在 Mac 修改材質、動畫或場景後,立即同步至 Vision Pro 預覽,大幅縮短內容製作流程。
遊戲開發方面,Apple 持續擴展 Vision Pro 生態。Unity 現已支援 Sony PlayStation VR2 Sense 控制器,讓開發者可在 Vision Pro 遊戲中使用 PS VR2 控制器進行互動。Godot 也正式支援 visionOS,加入 RealityKit 渲染、PHASE 空間音效以及 CompositorServices 等功能,降低跨平台移植門檻。
Apple 亦進一步強化 Foveated Streaming 技術,讓 Vision Pro 可透過眼動追蹤,僅串流使用者注視區域的高畫質畫面,降低遠端 PC 或雲端串流所需頻寬。Apple 展示的範例中,飛行模擬器可由 Vision Pro 本地渲染駕駛艙,同時將高負載場景交由遠端電腦運算,兼顧畫質與效能。
物件追蹤功能在 visionOS 27 也迎來升級。新版支援更高更新率追蹤、Create ML 強化訓練,以及更精準的空間定位 API,可應用於醫療模擬、工業訓練等專業場景。此外,Apple 首次開放第三方廠商打造 Spatial Accessories,未來可推出具備六自由度(6DoF)追蹤、按鍵、觸控板與震動回饋的 Vision Pro 專屬配件。
影音內容方面,Apple 持續擴充 Apple Immersive Video 製作能力,包括即時預覽、Live Production 工作流程、自訂 Compositor,以及全新的寬比例 Portal 模式,進一步提升沉浸式影片製作彈性。
目前 visionOS 27 Beta 3 已開放開發者測試,正式版本預計將於今年稍晚推出。
visionOS 27 Beta 3 重點
- Siri AI 登入 Vision Pro
- 可自由放置的 Siri Orb
- 全景照片轉換 Spatial Environment
- 新增冰島 Thórsmörk 沉浸式環境
- Safari 支援 Web Environment
- RealityKit 空間光照
- 即時布料模擬
- Reverb Mesh 空間音效
- 支援 3D Gaussian Splats
- Reality Composer Pro 3 Live Preview
- Unity 支援 PS VR2 Sense 控制器
- Godot 正式支援 Vision Pro
- Foveated Streaming 持續升級
- 強化物件追蹤
- 開放第三方 Spatial Accessories
- Apple Immersive Video 新功能