新しいAI研究が、大規模言語モデル（LLMs）の能力を分析するためのプロンプト中心のアプローチを提案しています

新しいAI研究は、LLMsの能力を分析するためのプロンプト中心のアプローチを提案しています

大規模言語モデル（LLM）の使用の急増により、自然言語処理（NLP）の分野は完全に変革され、特にLLMがオープンエンドのテキストを生成するよう促されています。オープンエンドのテキスト生成の応用は広範囲にわたり、質問応答、ストーリー生成、コード生成、人間支援の創造性、オープンエンドの対話など、複数の領域に及びます。

これらのモデルがますます普及するにつれ、これらのシステムの予測不可能性に対する懸念が高まっており、そのためにはこれらの能力と限界をよりよく理解する必要があります。

ジョージア工科大学、上海交通大学、Google、スタンフォード大学の研究者は、オープンテキスト生成を分析するためのプロンプトのタクソノミーを作成しました。彼らは288のプロンプトで実験し、3000以上の出力を評価し、緩和戦略と将来の研究方向を分析しました。

• 清華大学の研究者たちは、メタラーニングの枠組みの下で新しい機械学習アルゴリズムを紹介しました
• UCサンタクルーズとSamsungの研究者が、ナビゲーションの決定にChatGPTのようなLLM（言語モデル）で共通センスを活用するゼロショットオブジェクトナビゲーションエージェントであるESCを紹介しました
• 新しいAI研究が、転移学習のためのマルチタスクプロンプトチューニング（MPT）を紹介します

言語モデルのオープンテキスト生成の能力と制約を分析するために、研究者はユーザーがプロンプトに自然に制約を設定する方法に基づいて個々の制約のタクソノミーを作成しました。彼らは各制約のためのシンプルで自然なベースのプロンプトを設計し、主題やプロンプトテンプレートなどの次元で変化させることでプロンプトのばらつきを緩和しました。

プロンプトの制約は、スタイルの制約（文章のスタイルに制約を加える）と構造の制約（単語数を制限するなど、文章の構造に制約を加える）の2つのカテゴリに分類されます。

研究者たちは288のプロンプトを作成し、GPT-3、OPT、BLOOM、GLMを使用して出力を生成しました。評価のために、各プロンプトに対して10の出力を生成しました。たとえば、スタイルの制約「気分」のためのベースのプロンプトは「読者に[怒り、恐怖、幸せ、悲しい]と感じさせる愛についての文章を書いてください」となります。

スタイルの制約

研究者たちは、GPT-3がコメディ、風刺、皮肉、文芸などの一部の難しいスタイルの制約に苦労し、スタイルと主題の組み合わせに敏感であることを発見しました。プロンプトが難しすぎると、GPT-3はスタイルと主題を混同し、創造的な文章に特有でない単語に苦労します。

ただし、モデルのパフォーマンスは注釈者が認識するプロンプトの難しさとは相関しておらず、ヒトとLLMの間でプロンプトの難しさに寄与する要素が異なることを示しています。これは、LLMにとってどのプロンプトが難しいかどうかを経験的に見つけることの重要性を強調しています。

構造の制約

GPT-3は一般的に文章の構造の制約を理解することができますが、必要な単語数や文の数などの数値的な制約に苦労し、しばしば正確ではない出力を生成します。また、GPT-3は学術論文の適切なフォーマットができないことがあります。これは、訓練データにおいてこのようなドキュメントに対する明確なラベリングが欠けているためです。

著者らは、同じプロンプトと追加の数値的な構造の制約のプロンプトを使用して、他の3つのLLM、OPT-176B9、BLOOM-176B10、GLM-130B11を分析するために彼らの手法を使用しました。これらのモデルはGPT-3よりも性能が低く、生成された出力の半数以上が劣化していることがわかりました。

コメント

この論文では、構造的およびスタイリスティックな制約の下でオープンエンドのテキストを生成する言語モデルの能力を分析するための手法が提案されています。結果は、モデルの課題に一致する失敗と、構造的およびスタイリスティックな制約を横断する新しい失敗パターンを示しています。

著者らはまた、両方の領域でパフォーマンスを一貫して改善するための緩和策を提供しています。論文は、スタイリスティックおよび構造的な制約のすべての側面をカバーしておらず、すべてのオープンテキスト生成を代表しているわけではないという制約も認識しています。

著者らはまた、スタイルの誤用や注釈者の被害の可能性などの倫理的な考慮事項について触れ、注釈者を保護するためのガイドラインを提案しています。全体的に、この論文で提案されている手法と結果は、言語モデルの能力と制約を理解するために貢献しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!