「LLMに対する連鎖思考の促進」

Promoting LLM's chain of thought

LLMとの「推論」のための実用的でシンプルなアプローチ

(Matthew Lancaster氏による写真、Unsplashより)

大規模言語モデル(LLM)の成功は、大量のテキストコーパスを用いた事前学習(言語モデリング目的)を通じて、デコーダー専用のトランスフォーマーモデルをトレーニングできることに由来しています。十分に大きなモデルを事前学習することで、LLMは非常に能力のある少数の学習者になります。つまり、わずかな正しい出力の例を含むテキストのプロンプトを作成し、LLMに正しい答えを生成させることで、さまざまな問題(例:翻訳、文の分類、要約など)を解決できるということです。

LLMの能力にもかかわらず、これらのモデルが一貫して解決に苦しむ問題もあります。特に、推論問題(例:算術または常識的な推論)は非常に難しいものです。この問題を解決するための最初の試みでは、さまざまな推論問題の解決策と説明の教師付きデータセットを用いて、LLMのファインチューニングとタスク固有の検証モジュールを試しました[3, 4]。しかし、最近の研究では、少数の学習を活用することでより簡単な解決策を見つけることができることがわかりました。

「この論文の目標は、言語モデルに思考の連鎖を生成する能力を与えることです – 問題の最終答えに至る一貫した中間推論ステップの連鎖です。」- [1]より引用

特に、連鎖思考(CoT)プロンプティング[1]は、少数の学習を通じて推論ベースのタスクでのLLMのパフォーマンスを向上させる最近提案された技術です。一般的なプロンプティング技術と同様に、CoTプロンプティングは、いくつかの推論問題の解決策の例をLLMのプロンプトに挿入します。そして、それぞれの例には、問題を解決するための中間推論ステップの連鎖がペアで付属します。LLMは、推論問題を解決する際に類似の連鎖思考を生成することを(少数の学習を通じて)学習します。このようなアプローチは最小限のデータ(つまり、プロンプティングのためのわずかな例)を使用し、タスク固有のファインチューニングを必要とせず、特に大規模なモデルにおいて推論ベースのベンチマークのLLMのパフォーマンスを大幅に向上させます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「2023年にデータサイエンスFAANGの仕事をゲットする方法は?」

データサイエンスは非常に求められる分野となり、FAANG(Facebook、Amazon、Apple、Netflix、Google)企業での就職は大きな成...

機械学習

「Prolificの機械学習エンジニア兼AIコンサルタント、ノラ・ペトロヴァ – インタビューシリーズ」

『Nora Petrovaは、Prolificの機械学習エンジニア兼AIコンサルタントですProlificは2014年に設立され、既にGoogle、スタンフ...

人工知能

ジョナサン・ダムブロット、Cranium AIのCEO兼共同創設者- インタビューシリーズ

ジョナサン・ダムブロットは、Cranium AIのCEO兼共同創業者ですCranium AIは、サイバーセキュリティおよびデータサイエンスチ...

人工知能

「コマンドバーの創設者兼CEO、ジェームズ・エバンスによるインタビューシリーズ」

ジェームズ・エバンズは、CommandBarの創設者兼CEOであり、製品、マーケティング、顧客チームを支援するために設計されたAIパ...

人工知能

「サティスファイラボのCEO兼共同創設者、ドニー・ホワイト- インタビューシリーズ」

2016年に設立されたSatisfi Labsは、会話型AI企業のリーディングカンパニーです早期の成功は、ニューヨーク・メッツ、メイシ...

人工知能

「シフトのCEOであるクリス・ナーゲル – インタビューシリーズ」

クリスはSiftの最高経営責任者です彼は、Ping Identityを含むベンチャー支援および公開SaaS企業のシニアリーダーシップポジシ...