「LLMに対する連鎖思考の促進」

Promoting LLM's chain of thought

LLMとの「推論」のための実用的でシンプルなアプローチ

(Matthew Lancaster氏による写真、Unsplashより)

大規模言語モデル(LLM)の成功は、大量のテキストコーパスを用いた事前学習(言語モデリング目的)を通じて、デコーダー専用のトランスフォーマーモデルをトレーニングできることに由来しています。十分に大きなモデルを事前学習することで、LLMは非常に能力のある少数の学習者になります。つまり、わずかな正しい出力の例を含むテキストのプロンプトを作成し、LLMに正しい答えを生成させることで、さまざまな問題(例:翻訳、文の分類、要約など)を解決できるということです。

LLMの能力にもかかわらず、これらのモデルが一貫して解決に苦しむ問題もあります。特に、推論問題(例:算術または常識的な推論)は非常に難しいものです。この問題を解決するための最初の試みでは、さまざまな推論問題の解決策と説明の教師付きデータセットを用いて、LLMのファインチューニングとタスク固有の検証モジュールを試しました[3, 4]。しかし、最近の研究では、少数の学習を活用することでより簡単な解決策を見つけることができることがわかりました。

「この論文の目標は、言語モデルに思考の連鎖を生成する能力を与えることです – 問題の最終答えに至る一貫した中間推論ステップの連鎖です。」- [1]より引用

特に、連鎖思考(CoT)プロンプティング[1]は、少数の学習を通じて推論ベースのタスクでのLLMのパフォーマンスを向上させる最近提案された技術です。一般的なプロンプティング技術と同様に、CoTプロンプティングは、いくつかの推論問題の解決策の例をLLMのプロンプトに挿入します。そして、それぞれの例には、問題を解決するための中間推論ステップの連鎖がペアで付属します。LLMは、推論問題を解決する際に類似の連鎖思考を生成することを(少数の学習を通じて)学習します。このようなアプローチは最小限のデータ(つまり、プロンプティングのためのわずかな例)を使用し、タスク固有のファインチューニングを必要とせず、特に大規模なモデルにおいて推論ベースのベンチマークのLLMのパフォーマンスを大幅に向上させます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

「マーシャンの共同創設者であるイータン・ギンスバーグについてのインタビューシリーズ」

エタン・ギンズバーグは、マーシャンの共同創業者であり、すべてのプロンプトを最適なLLMに動的にルーティングするプラットフ...

AIニュース

OpenAIのCEOであるSam Altman氏:AIの力が証明されるにつれて、仕事に関するリスクが生じる

OpenAIのCEOであるSam Altmanは、特に彼の作品であるChatGPTに関するAIの潜在的な危険性について公言してきました。最近のイ...

人工知能

ディープAIの共同創業者兼CEO、ケビン・バラゴナ氏- インタビューシリーズ

ディープAIの創設者であるケビン・バラゴナは、10年以上の経験を持つプロのソフトウェアエンジニア兼製品開発者です彼の目標...

人工知能

「ゲイリー・ヒュースティス、パワーハウスフォレンジクスのオーナー兼ディレクター- インタビューシリーズ」

ゲイリー・ヒュースティス氏は、パワーハウスフォレンジックスのオーナー兼ディレクターであり、ライセンスを持つ私立探偵、...

AIテクノロジー

「LXTのテクノロジーバイスプレジデント、アムル・ヌール・エルディン - インタビューシリーズ」

アムル・ヌール・エルディンは、LXTのテクノロジー担当副社長ですアムルは、自動音声認識(ASR)の文脈での音声/音響処理と機...

データサイエンス

「David Smith、TheVentureCityの最高データオフィサー- インタビューシリーズ」

デビッド・スミス(別名「デビッド・データ」)は、TheVentureCityのチーフデータオフィサーであり、ソフトウェア駆動型のス...