「OpenLLMの紹介：LLMのためのオープンソースライブラリ」

Introduction to OpenLLM An Open-Source Library for LLM

 

この時点で、私たちは皆同じことを考えています。LLMの世界が本当に支配しているのでしょうか？一部の人々は、この盛り上がりが収束することを予想していたかもしれませんが、まだ連続的に上昇しています。LLMへの需要が非常に高いことが示されているため、より多くのリソースが投入されています。

LLMのパフォーマンスだけでなく、翻訳や感情分析などのさまざまなNLPタスクに適応する柔軟性も成功しています。事前学習済みのLLMを微調整することで、特定のタスクを行うのがはるかに簡単になり、ゼロからモデルを構築するのに必要な計算コストも減少しています。LLMは迅速にさまざまな実世界のアプリケーションに実装され、研究開発の量を向上させています。

また、LLMとともにオープンソースモデルも大きな利点です。オープンソースモデルの利用可能性により、継続的に既存のモデルを改善し、それらを安全に社会に統合する方法を研究者や組織が行うことができます。

• PanelでインタラクティブなMLダッシュボードを作成する
• 「Midjourneyを使ってYouTubeのサムネイルを作る方法（販売可能なもの）」
• GPTQによる4ビット量子化

 

OpenLLMとは何ですか？

 

OpenLLMは、LLMを製品で運用するためのオープンプラットフォームです。OpenLLMを使用すると、オープンソースのLLMで推論を実行し、それらを微調整し、簡単に強力なAIアプリを構築および展開することができます。

OpenLLMには、StableLM、Dolly、ChatGLM、StarCoderなどの最先端のLLMが含まれており、これらはすべて組み込みサポートでサポートされています。また、OpenLLMは単独の製品ではなく、LangChain、BentoML、Hugging Faceもサポートしているため、独自のAIアプリケーションを構築する自由があります。

すべてこれらの機能がオープンソースですか？少し狂っているように聞こえますね。

そして、それを使ってインストールして使用するのも簡単です。

 

OpenLLMの使い方

 

LLMを使用するためには、少なくともPython 3.8とpipがシステムにインストールされている必要があります。パッケージの競合を防ぐために、仮想環境を使用することを推奨します。

1. これらが準備できたら、次のコマンドを使用して簡単にOpenLLMをインストールできます:

pip install open-llm

 

1. 正しくインストールされたか確認するには、次のコマンドを実行できます:

$ openllm -h

Usage: openllm [OPTIONS] COMMAND [ARGS]...

   ██████╗ ██████╗ ███████╗███╗   ██╗██╗     ██╗     ███╗   ███╗
  ██╔═══██╗██╔══██╗██╔════╝████╗  ██║██║     ██║     ████╗ ████║
  ██║   ██║██████╔╝█████╗  ██╔██╗ ██║██║     ██║     ██╔████╔██║
  ██║   ██║██╔═══╝ ██╔══╝  ██║╚██╗██║██║     ██║     ██║╚██╔╝██║
  ╚██████╔╝██║     ███████╗██║ ╚████║███████╗███████╗██║ ╚═╝ ██║
   ╚═════╝ ╚═╝     ╚══════╝╚═╝  ╚═══╝╚══════╝╚══════╝╚═╝     ╚═╝

  大規模言語モデルを運用するためのオープンプラットフォームです。
  簡単にLLMを微調整、提供、展開、および監視できます。

 

1. LLMサーバーを起動するには、次のコマンドを使用してください（お好きなモデルを含める）:

openllm start

 

例えば、OPTサーバーを起動したい場合は、次のようにします:

openllm start opt

 

サポートされているモデル

 

OpenLLMでは10のモデルがサポートされています。以下にインストールコマンドも記載しています:

1. chatglm

pip install "openllm[chatglm]"

 

このモデルはGPUが必要です。

1. Dolly-v2

pip install openllm

 

このモデルはCPUとGPUの両方で使用できます。 

1. falcon

pip install "openllm[falcon]"

 

このモデルはGPUが必要です。

1. flan-t5

pip install "openllm[flan-t5]"

 

このモデルはCPUとGPUの両方で使用できます。 

1. gpt-neox

pip install openllm

 

このモデルはGPUが必要です。

1. mpt

pip install "openllm[mpt]"

 

このモデルはCPUとGPUの両方で使用できます。 

1. opt

pip install "openllm[opt]"

 

このモデルはCPUとGPUの両方で使用できます。 

1. stablelm

pip install openllm

 

このモデルはCPUとGPUの両方で使用できます。 

1. starcoder

pip install "openllm[starcoder]"

 

このモデルはGPUが必要です。

1. baichuan

pip install "openllm[baichuan]"

 

このモデルはGPUが必要です。

ランタイムの実装、ファインチューニングのサポート、新しいモデルの統合、および本番環境への展開に関する詳細情報については、必要な情報を提供しているこちらをご覧ください。 

 

まとめ

 

OpenLLMを使用したり、サポートが必要な場合は、DiscordとSlackのコミュニティに参加してください。また、Developer Guideを使用してOpenLLMのコードベースに貢献することもできます。

誰か試してみましたか？もしそうなら、コメントでご意見をお聞かせください！     Nisha Aryaは、VoAGIのデータサイエンティスト、フリーランスの技術ライター、コミュニティマネージャーです。彼女は特に、データサイエンスのキャリアアドバイスやチュートリアル、データサイエンスに関する理論的な知識を提供することに興味を持っています。また、人間の寿命の長寿化に人工知能がどのように役立つかを探求したいと思っています。彼女は学習熱心で、他の人々をガイドすることによって自分の技術知識と執筆スキルを広げることを目指しています。  

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!