SAM 3D – Image to 3D Online

概要

SAM 3Dは、普通のRGB画像を高品質でリアルな3Dアセットに変換する最先端のオンラインプラットフォームで、複雑なセットアップやハードウェアの要件はありません。MetaのオープンソースSAM 3Dモデルをベースに構築されており、単一画像から直接オブジェクトや人体の高速かつ堅牢な再構築を実現し、標準的な3Dフォーマットでシームレスにエクスポート可能です。先進的なモデルアーキテクチャと巨大な人手でアノテーションされた実世界データセットにより、混雑した環境、遮蔽、低照度、異常なカメラ角度にも強みを発揮します。

主な特徴

• 2つの専門モデル: SAM 3D Objectsは混雑した写真からテクスチャやレイアウトを含むシーン認識メッシュを再構築し、一方SAM 3D BodyはMeta Momentum Human Rig（MHR）を使用して正確でアニメーション可能な3D人体モデルを生成します。
• ハードウェアセットアップ不要: GPUや複雑なインストールなしで完全にオンラインから利用可能です。
• 高速推論パイプライン: 数秒から数分で詳細な3Dメッシュを生成し、迅速なワークフローを実現します。
• エクスポートの柔軟性: .OBJ、.GLB、MHR形式で3Dアセットをダウンロードでき、Blender、Unity、Unreal Engineなどに対応しています。
• オープンボキャブラリー対応: 多様なコンセプトの大規模事前学習により、あらゆるオブジェクトカテゴリの3D再構築が可能です。
• 高度な遮蔽処理: オブジェクトの一部が隠れていても、妥当な背面形状を推定します。
• マルチビュー整合性: 異なる視点からの幾何学的およびテクスチャの一貫性を保証します。
• オープンソースかつ商用利用可能: Apache 2.0ライセンスのもとで提供され、イノベーションと商用利用を促進します。

利用例

• Eコマース: インタラクティブでポーズ認識対応の3D製品モデルを素早く作成し、「View in Room」体験を強化。
• ゲーム開発＆VR: アニメーション可能な正確な人体アバターやオブジェクトを生成し、インタラクティブ環境に統合。
• スポーツ分析: 正確なポーズと形状モデルでアスリートをデジタル化し、パフォーマンスレビューに活用。
• 3Dシーン編集: 複雑で混雑した画像内のオブジェクトを選択して編集可能な3Dアセットに変換。
• コンテンツ制作: 写真だけでアーティストやデザイナー、クリエイターの3Dアセット制作を簡素化。

FAQ

Q: SAM 3Dは元のSAMと何が違いますか？
A: SAM 3Dは画像からの完全な3D再構築に特化しており、2Dセグメンテーションを超えて、オブジェクトと人体の双方に対するデュアルモデルを用い、遮蔽やポーズ処理を進化させています。

Q: 動画の処理はできますか？
A: 現時点では単一のRGB画像をサポートしており、動画はフレームごとに個別に処理可能です。

Q: モデルはオープンソースで商用利用できますか？
A: はい、SAM 3Dのコードと重みはApache 2.0ライセンスの下で完全にオープンソースで公開されており、商用利用が許可されています。

Q: どんなハードウェアが必要ですか？
A: 専用ハードウェアは不要で、プラットフォームは高速なオンライン推論で動作します。

Q: MHRフォーマットとは何ですか？
A: Meta Momentum Human Rig（MHR）は骨格構造と軟組織形状を分離した新しいオープンソースのメッシュフォーマットで、高度なアニメーション向けに設計されています。

Q: SA-3DAOデータセットはどこで入手できますか？
A: SAM 3D Objectsの訓練に使われたSA-3DAOデータセットはSAM 3Dプラットフォームの案内に従い公開されています。

今すぐSAM 3Dの使いやすいPlaygroundで、お手持ちの2D写真を魅力的な3D作品に変換する体験を始めるか、その強力なモデルをワークフローに直接組み込んでください。