「ベイズフローネットワークの公開:生成モデリングの新たなフロンティア」

ベイズフローネットワークの公開

生成モデリングは、モデルが入力データのパターンを発見することを学ぶ教師なし機械学習の一環です。この知識を活用して、モデルはオリジナルのトレーニングデータセットに関連する新しいデータを自己生成することができます。生成AIの分野では、自己回帰モデル、深層VAE、拡散モデルなど、使用されるネットワークにおいて数多くの進歩がありました。しかし、これらのモデルは連続的または離散的なデータの場合には欠点を持つ傾向があります。

研究者たちは、ベイジアンフローネットワーク(BFN)と呼ばれる新しいタイプの生成モデルを提案しました。BFNは、アリスとボブを使って考えることができます。ボブは基本的な初期分布から始めます。彼はそのパラメータをニューラルネットワークに使用して新しい「出力分布」のパラメータを取得します。アリスは計画的な方法でデータにノイズを加え、それを「送信者分布」とします。ボブは出力分布と同じノイズを組み合わせて「受信者分布」を作成します。彼は出力分布に基づいてデータのすべての可能な値に対して仮想的な送信者分布を結合し、それらの確率に従って考慮します。

アリスは送信者分布からサンプルをボブに送ります。ボブはこのサンプルに基づいてベイジアンの規則に従って初期分布を更新します。初期分布が各データ変数を個別にモデル化している場合、更新は容易に行われます。ボブは複数のステップでこのプロセスを繰り返します。最終的に、彼の予測は十分に正確になり、アリスはノイズのないデータを送信することができます。

次に説明されたプロセスは、nステップの損失関数を作成し、無限のステップ数を考慮することで連続時間に拡張することもできます。連続時間では、ベイジアンの更新はデータからネットワークへの情報のベイジアンフローとなります。連続時間の損失を使用してトレーニングされたBFNは、推論とサンプリングの際に任意の数の離散ステップで実行でき、ステップ数が増えるにつれて性能が向上します。

連続データの場合、BFNは最も関連性が高く、変分拡散モデルと非常に似た連続時間の損失関数を持っています。この場合の主な違いは、BFNではネットワークの入力が変分拡散や他の連続拡散モデルよりもはるかにノイズが少ないことです。これは一般的に、BFNの生成プロセスが固定された事前分布のパラメータから始まる一方、拡散モデルの生成プロセスは純粋なノイズから始まるためです。

研究者たちは、BFNのフレームワークを連続的な、離散的な、離散化されたデータに適用することを提案しました。実験結果は、CIFAR-10(32×32の8ビットカラー画像)、動的に2値化されたMNIST(28×28の2値化された手書き数字の画像)、およびtext8(長さ256の文字列シーケンス、サイズ27のアルファベット)を対象に行われ、BFNがすべてのベンチマークで優れた性能を発揮しました。この研究は、生成モデリングにおけるBFNへの新たな視点を提供し、この分野でのさらなる可能性を開拓しました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

『NVIDIAのCEO、ジェンソン・ファング氏がテルアビブで開催されるAIサミットの主演を務めます』

NVIDIAの創設者兼CEOであるJensen Huang氏は、10月15日から16日までテルアビブで開催されるNVIDIA AIサミットで、生成型AIと...

AIニュース

Google Pixel Watchが落下を検知する方法

Google Pixel Watchの落下検知機能をスタントダブルからAIまでどのように構築したかを学びましょう

AI研究

「MITのインドの学生が声を必要としない会話デバイスを開発」

魅力的な進展として、名門マサチューセッツ工科大学(MIT)の学生が革新的なAI対応デバイス、AlterEgoを紹介しました。AlterE...

機械学習

「ONNXフレームワークによるモデルの相互運用性と効率の向上」

ONNXは、異なるプラットフォーム間でのディープラーニングモデルの簡単な転送と実行を可能にするオープンソースのフレームワ...

機械学習

「AIの革命:WatsonXの力を明らかにする」

「ワトソンX」という革命的なAI技術に出会ってくださいそれは、量子コンピューティング、高度な機械学習、自然言語処理が融合...

人工知能

「Bard」を活用するための10の役立つ方法

「アイデアのブレストから旅行のスケジュール作成まで、Bardがあなたの仕事を手助けする10の方法をチェックしてみてください」