スタンフォードの研究者たちは、Parselという人工知能（AI）フレームワークを紹介しましたこのフレームワークは、コードの大規模な言語モデル（LLMs）を使用して、複雑なアルゴリズムの自動実装と検証を可能にします

スタンフォードの研究者たちは、ParselというAIフレームワークを紹介しましたこのフレームワークは、コードの大規模な言語モデル（LLMs）を使用して、複雑なアルゴリズムの自動実装と検証を可能にします

最近の大規模言語モデル（LLM）の推論の進歩にもかかわらず、LLMは洗練されたプログラムを開発するなど、階層的な多段階の推論タスクには依然として難しさを抱えています。他のトークン生成器とは異なり、人間のプログラマーは（通常）難しいタスクを管理可能なコンポーネントに分解し、単独で動作する（モジュール化）コンポーネントと共同で動作する（構成的）コンポーネントを学習しています。さらに、人間が生成したトークンが関数に問題を引き起こす場合、そのソフトウェアの他の部分に影響を与えずにソフトウェアのその部分を書き直すことが可能であるべきです。対照的に、コードLLMはエラーのないトークンのシーケンスを生成することが望まれます。

これにより、最近のスタンフォード大学の研究では、LLMを問題の分解と構成的な解決策の構築に使用することが検討されました。彼らはParselというコンパイラを提案しており、関数の説明と実装された関数の望ましい動作を定義する制約を含む仕様を受け入れます。Parselを使用することで、コーダーはプレーンな言語でプログラムを記述し、競技レベルのコーディング問題に取り組むことができ、従来のSoTAを75%以上上回るパフォーマンスを発揮します。

コードLLMには、関数の説明と依存する関数のシグネチャが与えられ、関数の実装を生成するように求められます。制約が追加されると、コンパイラは動作する実装の組み合わせを探索し、可能な組み合わせを見つけるまで繰り返します。

• 新しい人工知能（AI）の研究アプローチは、統計的な視点からアルゴリズム学習の問題として、プロンプトベースのコンテキスト学習を提示します
• Eleuther AI Research Groupが、Classifier-free Guidance（CFG）がLLMsとどのように組み合わされるかを実証しました
• ビンガムトン大学の研究者たちは、社会的な写真共有ネットワークでの自分たちの顔の管理を可能にするプライバシー向上の匿名化システム（私の顔、私の選択）を紹介しました

従来の研究では、人間とは異なり、コード言語モデルは連続的に多数の小さなタスクを実行するプログラムを開発することができませんでした。Parselは分解と実装のプロセスを分割することでこの問題を解消します。自然言語のコーディングを可能にすることを目的としていたが、LLMもParselコーディングで優れたパフォーマンスを発揮することがわかりました。

抽象的な計画を自動的に解決できるように分解することは、人間の推論の一般的なパターンであり、Parselの生成と実装に反映されています。この構成的な構造は言語モデルにも有用です。この研究では、チームはLLMがわずかな数のインスタンスからParselを作成できることを示し、APPSデータセットの競技レベルの問題においてSoTAの方法よりも優れた解を提供することを実証しています。Parselを使用してLLMによって書かれたプランは、高レベルのジョブからステップバイステップのロボットプランを生成するという興奮を伴う結果として、ゼロショットプランナーベースラインの約2/3の精度を持っています。

Parselの効果を評価するために、経験豊富な競技プログラマーであるGabriel Poesia氏は、通常コーディングの競技で見られるAPPSの多くのチャレンジを解決するためにParselを使用しました。彼は6時間で10問のうち5問の解答を見つけましたが、その中にはGPT-3が以前に失敗した3問も含まれています。

研究者らは、Parselを一般的なフレームワークとして定式化することで、定理証明やアルゴリズムの推論を必要とする他の活動にも利用できることを示しています。

彼らは近い将来、自律的なユニットテストの生成を実装する予定です。特殊な状況を探し、既存のすべてのテストで合意している関数のグループが新しいテストでも合意しているかどうかを調べるアプローチが一つの方法です。指数的な実装の組み合わせの発展を回避し、自動的な分解を可能にすることができるでしょう。また、より重要なプログラムやプログラムのセクションでは、説明を明確かつ簡潔にする必要があるため、言語モデルの「信頼度のしきい値」を調整することも目指しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!