「大規模言語モデル（LLM）を実世界のビジネスアプリケーションに移す」

Transferring large-scale language models (LLM) to real-world business applications.

大型言語モデルはどこにでも存在しています。顧客の会話やVCのピッチでは、LLMテクノロジーがどれくらい準備ができていて、将来のアプリケーションをどのように推進するかについての質問があります。私は以前の投稿でこれについていくつかのパターンをカバーしました。ここでは、Persistent Systemsが取り組んだ製薬業界のアプリケーションの実世界のパターンについて話します。

大型言語モデルとコアの強み

LLMは言語理解に優れています。アプリケーションで最も一般的なパターンは、リトリーバル補完生成（RAG）です。ここでは、知識がデータソースから外部的に編纂され、LLMに対してレスポンスを言い換えるためのプロンプトとしてコンテキストで提供されます。この場合、ベクトルデータベースやElasticsearchベースのエンジンのような超高速検索メカニズムが最初の検索ラインとして機能します。その後、検索結果はプロンプトにまとめられ、ほとんどAPI呼び出しとしてLLMに送信されます。

別のパターンは、データモデルをプロンプトとしてLLMに与え、特定のユーザークエリをフィードすることによって構造化データのクエリを生成することです。このパターンは、SnowflakeなどのSQLデータベースやNeo4jなどのグラフデータベース向けに、高度な「データとの対話」インターフェースを開発するために使用できます。

実世界の洞察のためのLLMの活用

Persistent Systemsは最近、スポーツテレメトリーカンパニーであるBlast Motion（野球、ゴルフなどのスイング分析）のパターンを調査しました。ここでは、プレーヤーの要約の時系列データを分析して推奨事項を得ました。

• 「AIのプロセス」
• 「ディープフェイクの解明：ヘッドポーズ推定パターンを活用した検出精度の向上」
• 「文書理解の進展」

より複雑なアプリケーションでは、LLMリクエストを呼び出しの間に処理と組み合わせる必要があります。製薬会社の場合、臨床試験文書から抽出した基準に基づいて患者をフィルタリングするスマートトレイルアプリを開発しました。ここでは、LLMチェインアプローチを使用しました。まず、試験のPDF文書を読み取り、RAGパターンを使用して包含基準と除外基準を抽出するためのLLMを開発しました。

これには、GPT-3.5-Turbo（ChatGPT）のような比較的シンプルなLLMが使用されました。次に、これらの抽出されたエンティティをSnowflakeの患者SQLデータベースのデータモデルと組み合わせてプロンプトを作成しました。このプロンプトは、GPT4のようなより強力なLLMにフィードされ、Snowflakeで実行するためのSQLクエリを提供します。LLMチェインを使用するため、チェインの各ステップに複数のLLMを使用することができ、コストを管理することができます。

現在、私たちはこのチェインをより制御可能にするために、決定論的なチェインを保持することにしました。つまり、チェインにより多くの知識を持たせ、オーケストレーションを非常にシンプルで予測可能に保つことを決めました。チェインの各要素は、プレ-LLMの時代に数か月かかる複雑なアプリケーションです。

より高度なユースケースの推進

より高度なケースでは、ReActのようなエージェントを使用して、LLMに特定のユーザークエリに従ってステップバイステップの手順を作成するよう促すことができます。もちろん、これにはGPT4やCohere、Claude 2などのハイエンドのLLMが必要です。ただし、その場合、モデルが誤ったステップを踏む可能性があり、これをガードレールを使用して検証する必要があります。これは、制御可能なチェインのリンクに知識を移動するか、チェイン全体を自律的にするかのトレードオフです。

今日、言語のための生成AIの時代に慣れてくるにつれて、業界は予測可能なチェインを持つLLMアプリケーションの採用を始めています。この採用が拡大するにつれて、私たちはエージェントを介したこれらのチェインにより多くの自律性を試みることになるでしょう。それがAGIに関する議論の対象であり、私たちは時間の経過とともにこれがどのように進展するかに興味があります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!