「私たちはLLMがツールを使うことを知っていますが、LLMが新しいツールを作ることもできることを知っていますか？ LLMツールメーカー（LATM）としての出会い：LLMが自分自身の再利用可能なツールを作ることを可能にするクローズドループシステム」

We know that LLM can use tools, but did you know that LLM can also create new tools? Introducing LLM Tool Maker (LATM) a closed-loop system that allows LLM to create their own reusable tools.

大規模な言語モデル（LLM）は、さまざまなNLPタスクで優れた成績を収め、人工一般知能のいくつかの特徴を実現する可能性を示しています。最近の研究では、LLMに外部ツールを補完することで、人間の知能の進化と同様に、問題解決能力と効率を大幅に向上させる可能性が明らかになっています。ただし、適切なツールの利用可能性は、これらのツール使用手順の適用範囲を決定する主要な要素です。これらのマイルストーンから得られた教訓によると、新しい問題を解決するために人々が自分自身のツールを作成できる能力は、人間の発展における重要な転換点でした。

この研究では、Google Deepmind、プリンストン大学、スタンフォード大学の研究者が、ツール作成の重要性に触発されたLLMの分野にこの進化的な概念を適用しています。彼らが提案するシステムであるLLMs As Tool Makers（LATM）は、LLMが新しい責任を引き受けるために再利用可能なツールを作成することを可能にします。彼らの戦略は、2つの重要なフェーズで構成されています：1）ツールの作成：ツールビルダーと呼ばれるLLMが、特定のジョブに特化したツール（Python関数として実装される）を作成します。2）ツールの適用：ツールユーザーとして知られる2番目のLLM（ツールを作成した同じ人物である場合があります）が、新しい要求に対処するためにツールを適用します。2段階の設計により、LATMは各ステップで最も適任のLLMに仕事を割り当てることができます。

特に、GPT-4のようなパワフルでリソースの多いモデルは、ツール作成プロセスの能力をモデル化することができます。一方、GPT-3.5 Turboのような軽量で手頃なモデルは、ツール使用手順に関連付けられることができ、はるかに簡単です。この方法により、複数のジョブを処理するための平均計算コストが大幅に低下し、LLMの問題解決能力が向上します。特定の機能については、ツール作成手順は一度だけ実行する必要があります。したがって、生成されたツールは複数のタスクインスタンスに適用できます。

• 類似検索、パート6：LSHフォレストによるランダム射影
• このAI論文では、「Retentive Networks（RetNet）」を大規模言語モデルの基礎アーキテクチャとして提案していますトレーニングの並列化、低コストの推論、そして良好なパフォーマンスを実現しています
• マルチディフュージョンによる画像生成のための統一されたAIフレームワーク、事前学習されたテキストから画像へのディフュージョンモデルを使用して、多目的かつ制御可能な画像生成を実現します

この方法は、困難な問題に対処するためのスケーラブルで経済的な代替手段を提供します。例えば、ユーザーがLLMに全員に適したミーティングを調整するように依頼するシナリオを考えてみてください（例えば、メールのやり取りを通じて）。GPT-3.5 Turboのような軽量のマシンは、複雑な算術的推論問題を解決するのは頻繁に難しいです。GPT-4のような強力なモデルは、推論コストがはるかに高くなるにもかかわらず、正しい答えを得ることができます。高価なモデルをツールメーカーとして使用し、コスト効果の高いモデルをツールユーザーとして利用することで、LATMはこれらの障壁を乗り越えます。ツールが作成された後、ユーザーはツールを素早く効果的に使用して作業を行うことができます。

このパラダイムは、24ゲームの数独や、解析および特定のデータ形式にオンライン記事をパーズし、さまざまな専門的要件を満たすルーティング計画を作成するなど、他のプロセスの繰り返しの仕事など、よく知られたゲームにも適用できます。彼らはさらに、新しくツールを開発する必要があるか、既存のツールで問題を解決できるかを決定するディスパッチャーという軽量なLLMを追加しています。これにより、彼らのアーキテクチャにはさらなる動的な要素が加わり、リアルタイムでのツールの作成と使用が可能になります。彼らの試験は、さまざまな難しいBig-Benchの問題や一般的な複雑な思考タスクにおけるこの戦略の効果を示しています。

その結果、LATMは、よりリソースを多く必要とするモデルと同等の性能を発揮しながら、よりリーズナブルな価格で提供できます。LLMが生成したツールを利用することで、発展途上の社会がエキサイティングな可能性を実現します。このユニークなLLMへのアプローチは、ツールの生成と利用における人間の進化的な飛躍を模倣しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!