このAI論文は、「MATLABER:マテリアルを意識したテキストから3D生成のための新しい潜在的BRDFオートエンコーダ」を提案しています

This AI paper proposes a new latent BRDF autoencoder for 3D generation from material-aware text, called MATLABER.

3Dアセットの開発は、ゲーム、映画、AR/VRなど、多くの商業応用において不可欠です。従来の3Dアセット開発プロセスでは、多くの労力と時間を要する作業が必要であり、それらはすべて専門的な知識と形式美的なトレーニングに依存しています。最近の生成品質と効率の向上、および従来の3Dアセット作成に必要な時間とスキル要件を大幅に削減する潜在能力により、純粋なテキスト記述から自動的に3Dアセットを生成するテキストから3Dへのパイプラインへの注目が高まっています。

これらのテキストから3Dへのパイプラインは、NeRFまたはDMTETで表現されたターゲット3DアセットをSDS損失を介して逐次最適化することにより、魅力的なジオメトリと外観を提供することができます。図1は、彼らが高忠実度のオブジェクト素材を復元するのがいかに困難であるかを示しており、これがリライティングなどの現実世界のアプリケーションでの使用を制限しています。彼らのデザインには双方向反射率分布関数(BRDF)とランベルト反射率をモデル化しようとする試みがなされていますが、素材を予測するニューラルネットワークは、自然な分布に準拠する適切な素材を識別するために必要なモチベーションと手がかりを欠いています。特に、環境ライトと頻繁に絡み合うことが多い固定ライト条件下で、彼らの示した素材が環境ライトと混同してしまうことがあります。

本研究では、上海AI研究所とS-Lab、南洋理工大学の研究者が、既に利用可能な豊富な素材データを使用して、素材を環境ライティングから正確に分離する独自のテキストから3Dへのパイプラインを学習することに成功しました。MERL BRDF、Adobe Substance3D素材、実世界のBRDFコレクションTwoShotBRDFなど、大規模なBRDF素材データセットがありますが、素材とテキストの記述の結合データセットへのアクセスのなさにもかかわらず、彼らはテキストプロンプトに正確に対応するリアルで自然な見た目の素材を作成するために、全く新しい潜在的BRDFオートエンコーダを使用したマテリアルアウェアテキストから3Dへのエンコーダ(MATLABER)を提案しています。

BRDFの値ではなくBRDFの潜在コードを予測するために、潜在的BRDFオートエンコーダは、そのスムーズな潜在空間にTwoShotBRDFの実世界のBRDF事前知識を組み込むように訓練されます。これにより、MATLABERは最も適切な素材の選択に集中し、予測されたBRDFの妥当性にあまり心配する必要がありません。彼らの手法は、BRDFオートエンコーダのスムーズな潜在空間により、オブジェクトのジオメトリと外観の最適な分離を実現し、高忠実度のコンテンツを持つ3Dアセットを生成することができます。図1に示すように、これは従来の最先端のテキストから3Dへのパイプラインを超えるものです。

図1: テキストから3Dへの生成の目標は、提供されたテキストの記述に対応する高品質な3Dオブジェクトを作成することです。DreamFusionやFantasia3Dなどの代表的な技術は、見栄えはするものの、高忠実度のオブジェクト素材を復元するのには依然として十分ではありません。具体的には、Fantasia3Dは環境ライティングと絡み合ったBRDF素材を予測し、DreamFusionは拡散反射素材のみを考慮しています。潜在的BRDFオートエンコーダに基づくこの手法は、3Dオブジェクト用の有機的な素材を生成し、さまざまな照明条件でのリアルなレンダリングを可能にします。

さらに重要なことに、オブジェクト素材の正確な推定により、以前は困難だったシーンの修正、素材の編集、リライティングなどの活動が可能になります。これらのダウンストリームのタスクが重要であると認識するいくつかの現実世界のアプリケーションによって、より実用的な3Dコンテンツ生成のパラダイムに道が開かれています。さらに、彼らのアルゴリズムは、ObjectFolderなどのマルチモーダルデータセットを使用して、取得した素材から触覚情報や音響情報を推測することができます。これらの情報は、仮想物体の素材の三位一体を構成します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「イギリスのテックフェスティバルが、クリエイティブ産業でAIを活用するスタートアップ企業を紹介する」

英国最大的技术节之一,企业和初创公司本周正展示他们最新的创新成果,举办研讨会,并庆祝位于英国西南部的技术生态系统的不...

データサイエンス

AIOpsの力を解き放つ:最適化されたITオペレーションのための知的自動化によるDevOpsの強化

DevOpsのプラクティスを革命化するAIOps(ITオペレーションのための人工知能)の変革的な可能性を発見してください

AIニュース

OpenAIはGPT-4をターボチャージしています:高速かつ手頃な価格で生成型AIを革命化

ジェネレーティブAIの世界は、OpenAIが最新のブレイクスルー、GPT-4 Turboを発表すると大いに盛り上がっています。この革命的...

AI研究

「このAI研究は、深層学習と進化アルゴリズムを用いて、シリコンMach-Zehnderモジュレータの設計を革新します」

NetflixやIoTの人気や分散コンピューティングおよびストレージアーキテクチャへの移行により、ネットワークの伝送容量要件が...

データサイエンス

「バリー・ディラー対生成AI:著作権法的な戦い」

メディアの大物であるバリー・ディラー氏と一部の著名な出版社は、人工知能(AI)システムのトレーニングで公開された作品の...

人工知能

『デイリースタンドアップで時間を無駄にしています』

「デイリースタンドアップは、中規模の製品エンジニアリングチームに年間6桁の金額をかけさせるので、必ず効果を上げる必要が...