「テキスト生成推論によるコンピュータからの大規模言語モデルの提供」

Providing large-scale language models from computers using text generation inference

Falcon-7BのInstructバージョンの例

QLoRaやGPTQなどの量子化手法のおかげで、消費者向けハードウェア上で非常に大きな言語モデル（LLM）をローカルで実行することができるようになりました。

LLMの読み込みにかかる時間の長さを考慮すると、LLMをメモリに保持してクエリを実行し、結果を即座に得ることも望ましいでしょう。標準の推論パイプラインでLLMを使用する場合、モデルを毎回再読み込みする必要があります。モデルが非常に大きい場合、モデルが出力を生成するまで数分待つ必要があるかもしれません。

LLMをサーバー（ローカルまたはリモート）にホストするためのさまざまなフレームワークがあります。私のブログでは、NVIDIAが開発した非常に最適化されたフレームワークであるTriton Inference Serverを既に紹介しています。このフレームワークを使用すると、複数のLLMを提供し、GPU間の負荷を分散させることができます。ただし、1つのGPUしか持っておらず、モデルをコンピューター上にホストしたい場合、Triton Inferenceの使用は適していないかもしれません。

この記事では、Text Generation Inferenceという代替手法を紹介します。これは、消費者向けハードウェア上でLLMを実行し提供するための最小限の機能を実装したより直感的なフレームワークです。

• 「高次元のカテゴリ変数に対する混合効果機械学習 – 第二部 GPBoostライブラリ」
• ソフトウェア開発の革命：AIとコードのダイナミックなデュオ
• ウィスコンシン大学の新しい研究では、ランダム初期化から訓練された小さなトランスフォーマーが、次のトークン予測の目標を使用して効率的に算術演算を学ぶことができるかどうかを調査しています

この記事を読み終えると、コンピューター上にローカルで展開され、クエリを待機するチャットモデル/LLMを持つことができます。

テキスト生成インファレンス

テキスト生成インファレンス（TGI）は、LLMを展開し提供するためのRustとPythonで書かれたフレームワークです。Hugging Faceによって開発され、Apache 2.0ライセンスで配布されています。Hugging Faceは、製品で推論ウィジェットのパワーとして使用しています。

TGIはA100 GPU向けに最適化されていますが、RTX GPUなどの消費者向けハードウェアでも、量子化とページドアテンションのサポートにより、TGIは非常に適していると私は見つけました。ただし、RTX GPUをサポートするためには特定のインストールが必要です。これについては、この記事で後ほど詳しく説明します。

最近、Hugging FaceがいくつかのLLMアーキテクチャを最適化して、TGIでより高速に実行できるようにしていることも分かりました。

例えば、Falconモデルは、標準の推論パイプラインで実行すると比較的遅いですが、TGIを使用するとはるかに高速です…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!