専門AIトレーニングの変革- LMFlowの紹介：優れたパフォーマンスのために大規模な基盤モデルを効率的に微調整し、個別化するための有望なツールキット

'専門AIトレーニングの変革- LMFlowの紹介：大規模な基盤モデルを効率的に微調整し、個別化するための有望なツールキット'

大規模言語モデル（LLMs）は、大規模な基盤モデルの上に構築されており、以前は不可能だったさまざまなタスクを実行する一般的な能力を示しています。しかし、特定のドメインやジョブでのパフォーマンスを向上させるには、このようなLLMのさらなるファインチューニングが必要です。大規模モデルのファインチューニングには、以下のような一般的な手順が含まれます：

• ニッチな領域での継続的な事前学習により、広範な基礎モデルがそのような領域での専門知識を獲得することができます。
• 自然言語の特定のタイプの命令を理解し実行するために、大規模な汎用ベースモデルの調整。
• 必要な会話能力を備えた大規模な基礎モデルのトレーニング（RLHF：人間のフィードバックを用いた強化学習）。

すでにいくつかの大規模モデルが事前学習され、一般に公開されています（GPT-J、Bloom、LLaMAなど）。しかし、これらのモデル全体で効率的にファインチューニング操作を行うことができる公開ツールボックスはありません。

香港大学とプリンストン大学の研究者チームが、制約されたリソースで効率的に巨大モデルのファインチューニングと推論を支援するための使いやすく軽量なツールセットを作成しました。

• プロンプトエンジニアリングへの紹介
• MosaicMLは、彼らのMPT-30BをApache 2.0の下でリリースしました
• キャッシュの遷移に対する自動フィードバックによる優先学習

Nvidia 3090 GPUと5時間あれば、7兆パラメータのLLaMAモデルに基づいたカスタムモデルをトレーニングすることができます。このフレームワークを使用して単一のマシン上で7、13、33、65兆パラメータのLLaMAのバージョンをファインチューニングした後、研究用にモデルの重みが提供されました。

オンラインで無償で利用できる大規模言語モデルの出力を最適化するには、以下の4つのステップがあります：

1. 最初のステップは「ドメイン適応」であり、モデルを特定のドメインに対応させるためのトレーニングです。
2. 2番目のステップはタスク適応であり、要約、質問応答、翻訳などの特定の目標を達成するためにモデルをトレーニングすることを意味します。
3. 3番目のステージは、教示型質問・回答のペアに基づいてモデルのパラメータを調整する「教示型ファインチューニング」です。
4. 最後のステップは、人々の意見に基づいてモデルを改善する「人間のフィードバックを用いた強化学習」です。

LMFlowは、これらの4つのステップに対する完全なファインチューニング手順を提供し、制約された計算リソースにもかかわらず、巨大言語モデルの個別のトレーニングを可能にします。

LMFlowは、連続的な事前トレーニング、命令調整、RLHFなどの機能を備えた大規模モデルの包括的なファインチューニング手法を提供し、使いやすく柔軟なAPIも提供しています。LMFlowによって、個別のモデルトレーニングが誰もが利用できるようになりました。質問応答、コンパニオンシップ、執筆、翻訳、さまざまな科目での専門的な相談などの活動において、各人は利用可能なリソースに基づいて適切なモデルを選択することができます。ユーザーが十分な大きさのモデルとデータセットを持っている場合、より長い期間のトレーニングにより優れた結果が得られます。チームは最近、ChatGPTよりも優れた33兆パラメータのモデルをトレーニングしました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!