DeepMindからの新しいAI研究では、有向グラフに対して二つの方向と構造に敏感な位置符号化を提案しています

DeepMindの新しいAI研究では、有向グラフに対する敏感な位置符号化を提案しています

トランスフォーマーモデルは最近、非常に人気が高まっています。これらのニューラルネットワークモデルは、文の中の単語などの連続的な入力の関係を追跡し、文脈と意味を学習します。OpenAIが提案したGPT 3.5やGPT 4などのモデルの導入により、人工知能およびディープラーニングの分野は大きく前進し、話題となっています。競技プログラミング、対話型質問応答、組み合わせ最適化問題、グラフ学習タスクなど、すべての分野でトランスフォーマーモデルが重要なコンポーネントとして使用されています。

トランスフォーマーモデルは競技プログラミングでテキストの説明から解を生成するために使用されます。有名なチャットボットであるChatGPTは、GPTベースのモデルであり、人気のある対話型質問応答モデルの最良の例です。トランスフォーマーモデルは、巡回セールスマン問題などの組み合わせ最適化問題の解決にも使用され、特に分子の特性を予測する際にはグラフ学習タスクで成功しています。

トランスフォーマーモデルは、画像、音声、ビデオ、無向グラフなどのモダリティで非常に優れた柔軟性を示していますが、有向グラフのためのトランスフォーマーはまだ注目されていません。このギャップに対処するため、研究チームは有向グラフに特化した2つの方向および構造を考慮した位置エンコーディングを提案しました。コンビネーショナル・ラプラシアンの方向に対応した拡張であるマグネティック・ラプラシアンは、最初に提案された位置エンコーディングの基盤となります。提供された固有ベクトルは、グラフのエッジの方向性を考慮しながら重要な構造情報を捉えます。これらの固有ベクトルを位置エンコーディング手法に組み込むことで、トランスフォーマーモデルはグラフの方向性により認識能力を高め、有向グラフにおける意味と依存関係を成功裏に表現することができます。

• 新たな人工知能の研究が、言語モデルの中でマルチモーダルな連鎖思考推論を提案し、ScienceQAにおいてGPT-3.5を16%上回る結果を示しました（75.17% → 91.68%）
• 「UTオースティン大学の研究者が、安定した拡散を用いたAI手法「PSLD」を紹介追加のトレーニングなしにすべての線形問題を解決する」
• UCバークレーの研究者たちは、FastRLAPを提案していますこれは、深層強化学習（Deep RL）と自律練習を通じて高速運転を学ぶためのシステムです

方向性を考慮したランダムウォークエンコーディングは、提案された2番目の位置エンコーディング技術です。ランダムウォークは、モデルがグラフ内の方向構造についてより詳しく学習するための一般的な手法であり、ウォーク情報を位置エンコーディングに組み込みます。グラフ内のリンクと情報の流れをモデルが理解するのに役立つため、この知識はさまざまな下流の活動で使用されます。

研究チームは、方向および構造を考慮した位置エンコーディングがさまざまな下流のタスクで優れたパフォーマンスを発揮したことを実証しています。これらのタスクの1つであるソートネットワークの正当性テストでは、特定の操作が実際にソートネットワークを構成するかどうかを判断する必要があります。提案されたモデルは、ソートネットワークのグラフ表現における方向性情報を利用することで、Open Graph Benchmark Code2による測定で従来の最先端手法を14.7%上回る性能を発揮します。

研究チームは、以下のように貢献をまとめています：

1. トランスフォーマーで一般的に使用される正弦波位置エンコーディングとラプラシアンの固有ベクトルとの明確な関係が確立されました。

1. 研究チームは、方向性情報を位置エンコーディングに組み込む方法を提供する、有向グラフに拡張されたスペクトル位置エンコーディングを提案しました。

1. ランダムウォーク位置エンコーディングが有向グラフに拡張され、モデルがグラフの方向性構造を捉えることが可能になりました。

1. 研究チームは、構造を考慮した位置エンコーディングがさまざまなグラフ距離の予測性を評価し、その効果を示しました。彼らは、ソートネットワークの正当性を予測するタスクを紹介し、このアプリケーションにおける方向性の重要性を示しました。

1. 研究チームは、プログラム文のシーケンスを有向グラフとして表現し、ソースコードのための新しいグラフ構築方法を提案し、予測性能と堅牢性を向上させました。

1. OGB Code2データセットにおいて、特に関数名の予測において新たな最先端のパフォーマンスを実現し、F1スコアが2.85%高く、相対的な改善率が14.7%となりました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!