Gradient Checkpointing、LoRA、およびQuantizationを使用して、単一のGPUにLLMをフィットさせてください

Gradient Checkpointing、LoRA、Quantizationを使って、単一のGPUにLLMをフィットさせてください

大規模な言語モデルの微調整を試みたことがある人は、GPUメモリを扱うのがいかに困難かを知っています。

「ランタイムエラー:CUDAエラー:メモリ不足」

このエラーメッセージは私の夜を悩ませています。

3B、7B、または13Bのパラメータモデルは大きく、微調整は時間がかかります。トレーニング中にメモリが不足すると、イライラする上にコストがかかることもあります。

しかし、心配しないでください、私が手助けします!

この記事では、次の3つのテクニックを使って、知っておく必要があるか、既に使っているかもしれない方法について説明します:Gradient Checkpointing、Low-Rank Adapters、およびQuantization

これらは、トレーニング中にメモリが不足するのを防ぎ、多くの時間を節約するのに役立ちます。

もしLLMの微調整に慣れていない場合は、私がBloom-3Bを「指輪物語」の本に対して微調整する過程を解説した記事があります。

個人データでLLMを微調整:「指輪物語」のストーリーテラーを作ろう

個人データでLLMを微調整できるようになりました。個人情報を管理しながらコントロールを維持できます…

VoAGI.com

さあ、始めましょう!

Amritanshu Sikdar氏の写真(Unsplash)

Gradient Checkpointing

Gradient Checkpointingは、ニューラルネットワークのトレーニング中に、最小限の層のみを保持するために動的計算を使用する技術です。

このプロセスを理解するためには、逆伝播がどのように行われ、プロセス全体でレイヤーがGPUメモリに保存されるかを理解する必要があります。

フォワードとバックワード伝播の基礎

フォワード伝播とバックワード伝播は、ディープニューラルネットワークのトレーニングの2つのフェーズです。

3Blue1Brown Youtubeチャンネルより

フォワードパスでは、入力がベクトル化され(画像をピクセルに変換し、テキストを埋め込みに変換する)、各要素は線形積和と活性化の連続を通じてニューラルネットワーク全体で処理されます…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

「シフトのCEOであるクリス・ナーゲル – インタビューシリーズ」

クリスはSiftの最高経営責任者です彼は、Ping Identityを含むベンチャー支援および公開SaaS企業のシニアリーダーシップポジシ...

人工知能

ファイデムのチーフ・プロダクト・オフィサー、アルパー・テキン-インタビューシリーズ

アルパー・テキンは、FindemというAI人材の獲得と管理プラットフォームの最高製品責任者(CPO)ですFindemのTalent Data Clou...

人工知能

「クリス・サレンス氏、CentralReachのCEO - インタビューシリーズ」

クリス・サレンズはCentralReachの最高経営責任者であり、同社を率いて、自閉症や関連する障害を持つ人々のために優れたクラ...

データサイエンス

「Seerの最高データオフィサーであるDr. Serafim Batzoglouによるインタビューシリーズ」

セラフィム・バツォグルはSeerのチーフデータオフィサーですSeerに加わる前は、セラフィムはInsitroのチーフデータオフィサー...

人工知能

ベイリー・カクスマー、ウォータールー大学の博士課程候補 - インタビューシリーズ

カツマー・ベイリーは、ウォータールー大学のコンピュータ科学学部の博士課程の候補者であり、アルバータ大学の新入教員です...

人工知能

「マーシャンの共同創設者であるイータン・ギンスバーグについてのインタビューシリーズ」

エタン・ギンズバーグは、マーシャンの共同創業者であり、すべてのプロンプトを最適なLLMに動的にルーティングするプラットフ...