Meta AI 發布新一代 Meta Segment Anything Model 3 (SAM 3) 模型集,這是一個統一的模型,它使用文字、範例和視覺提示來偵測、分割和追蹤圖像和影片中的物件。以及開放程式碼的模型,用於從單張影像重建 3D 物件和人體,為物理世界場景中的基於實物的 3D 重建樹立了新標準的 SAM 3D。
SAM 3D 是 SAM 模型庫中首個此類全新成員,它將對自然圖像的常識性 3D 理解帶入現實,無論是探索 AR/VR 新領域的研究人員、希望為遊戲生成素材的創作者,還是僅僅對 AI 賦能的 3D 建模的可能性感到好奇,SAM 3D 都將為開發者開啟與視覺世界互動和理解的全新方式。
SAM 3D 引入了兩個新模型:SAM 3D Objects,用於物件和場景重建,以及 SAM 3D Body,專注於人體和形狀估計。這兩個模型均具有強大的性能,能夠將靜態 2D 影像轉換為精細的 3D 重建模型。
SAM 3D Objects 代表了一種全新的方法,它能夠從單張自然圖像中實現穩健且基於視覺的 3D 重建和物體姿態估計,從而從日常圖像中重建物體的精細 3D 形狀、紋理和佈局。SAM 3D Objects 的創新之處在於,它利用強大的資料標註引擎打破了從實體世界取得 3D 資料的長期壁壘,並將其與全新的多階段 3D 訓練方案緊密結合。
SAM 3D Body 旨在滿足從單張影像精確估計 3D 人體姿態和形狀的需求—即使在涉及不尋常姿態、影像部分被遮蔽或多人等複雜情況下也能勝任。該模型利用了一種名為 Meta Momentum Human Rig (MHR) 的新型開源 3D 網格格式,該格式透過分離人體骨骼結構和軟組織形狀,提高了可解釋性。SAM 3D Body 的突出之處在於其精度和穩健性的顯著提升,在多項 3D 基準測試中均超越了以往的模型。
目前,SAM 3D 和 SAM 3 為 Facebook Marketplace 的全新「房間預覽」功能提供了支持,幫助用戶在購買家居裝飾品之前,直觀地了解其在實際空間中的風格和效果。
https://kopyai.com/zh-tw/latest/view/type.news/0/55Picture Source
Meta AI

留言
張貼留言