プリンストンの研究者たちは、革新的な軽量フレームワーク「InterCode」を導入しましたこれにより、人間のような言語からコード生成のための言語モデルの相互作用が効率化されました

プリンストンの研究者は、InterCodeという革新的な軽量フレームワークを導入し、人間のような言語からコード生成のための言語モデルの相互作用を効率化しました

ChatGPTは、OpenAIによって開発された最新のチャットボットであり、リリース以来話題になっています。このGPTトランスフォーマーアーキテクチャベースのモデルは、人間のように正確に質問に答えるだけでなく、ブログやソーシャルメディア、研究などのためのコンテンツを生成し、言語を翻訳し、長いテキスト段落を要点を保持しながら要約し、コードサンプルさえ生成します。GPT、BERT、PaLM、LLaMaなどの大規模言語モデルは、人工知能の分野の進歩に成功を収めています。これらのディープラーニングモデルは、自然言語処理と自然言語理解の可能性を効果的に活用しています。

近年では、自然言語仕様からコードを自動生成するモデルの開発が人気を集めています。これらのモデルは、数千のコードベースでの広範な事前学習により、静的ベンチマークで印象的なパフォーマンスを発揮していますが、タイプミス、コードの作成プロセスと実行の間のギャップ、限られた人間の関与など、特定の制限もあります。

これらの課題に対処するために、プリンストン大学のコンピュータサイエンス部の研究者は、インタラクティブなコーディングを標準的な強化学習(RL)環境として容易に行えるようにする軽量かつ柔軟なフレームワークであるInterCodeを提案しました。InterCodeでは、コードをアクションとして扱い、実行フィードバックを観測として考慮します。このRLベースの手法により、コーディングをより反復的に行うことができ、言語やプラットフォームに依存しないように設計されているため、多くのプログラミング言語や環境と使用することができます。

InterCodeは、安全で繰り返し可能な実行を保証するために独立したDocker環境も使用します。これは従来のシーケンス対シーケンス(seq2seq)コーディング技術と互換性があり、現在の手法を簡単に採用および統合することができます。また、インタラクティブなコード生成に特化した新しいアプローチの開発を容易にすることも可能です。

評価のために、チームはBashとSQLをアクションスペースとして使用した2つのインタラクティブなコード環境を構築し、InterCodeの有用性を示しました。彼らはReActやPlan&Solveなどのさまざまなプロンプティング手法を備えたいくつかの優れた言語モデルを、静的なSpiderとNL2Bashデータセットのデータを使用して訓練および評価しました。InterCodeの実験は、インタラクティブなコード生成の利点を示しながら、コード理解と生成能力の向上を目指す難しいベンチマークとしての潜在能力を強調しました。

チームは以下のように主な貢献をまとめています。

  1. InterCodeは、新しい汎用的なインタラクティブコード生成フレームワークであり、使いやすさ、拡張性、安全性を提供します。ユーザーフレンドリーでアクセスしやすく、研究者が簡単に実験に利用できます。
  1. InterCodeを使用して、いくつかの信じられないほど優れた最先端のモデルにアクセスし、評価し、潜在的な改善点を指摘しました。
  1. InterCodeベンチマークは、インタラクティブなコード生成タスクの標準化された評価プラットフォームとして機能し、異なるモデルのパフォーマンスを共通のフレームワークを使用して比較することができます。これにより、静的なコードの新しいデータセットをインタラクティブな活動に変換することができます。

結論として、InterCodeは、人工知能の分野の進歩において有望なアプローチであり、インタラクティブなコード生成を大幅に進化させ、標準化された評価プラットフォームを提供し、この領域のさらなる研究と開発を促進します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

コンピュータサイエンス

「オープンソースAI」の神話

新たな分析によると、「オープンソース」のAIツールであるLlama 2などは、さまざまな方法で依然として大手テック企業によって...

AI研究

大規模な言語モデルは本当に行動し思考できるのか?イリノイ大学アーバナ・シャンペーン校の研究者が意思決定の向上のためにLATSを導入

LLMは、推論や意思決定のタスクにおいて価値のある存在となっています。複雑な問題を連続したステップに分解することで優れた...

データサイエンス

ダックAIは、DuckTrackを紹介します:マルチモーダルコンピュータインタラクションデータコレクター

ユーザーの相互作用の正確で精密なトラッキングは、コンピューターエージェントの機能を進化させる上で重要な基盤となります...

データサイエンス

複雑なトピックに取り組む際、最初の一歩が一番難しいです

「初心者であること」は、一度通り抜けていつまでも忘れ去るものではありません常に継続的な学びと成長に取り組んでいる限り...

AIニュース

Middleware.ioは、生成AIを搭載したクラウド観測プラットフォームを紹介します

クラウドネイティブアプリケーションのダイナミックな領域では、観測可能性の必要性が浮上しています。クラウドコンピューテ...