「TableGPTという統合された微調整フレームワークにより、LLMが外部の機能コマンドを使用してテーブルを理解し、操作できるようになります」

The integrated fine-tuning framework TableGPT enables LLM to understand and manipulate tables using external function commands.

表は、財務分析、サプライチェーン管理、ヘルスケア分析など、さまざまなコンテキストでデータ駆動型の意思決定の基盤として頻繁に使用され、データの広範で複雑な世界を表現するためのものであり、トレンドやパターン、関連性を分析することで、利害関係者がより良いビジネスの選択をし、プロセスとリソースを最適化するのに役立ちます。データサイエンティストは、複雑なExcelの数式やカスタムプログラムを使用して表を処理することに長い間取り組んできました。その結果、表形式のデータのより効果的な理解と解釈への需要が高まっています。大規模言語モデル（LLM）またはGenerative Pre-trained Transformers（GPT）は、自然言語処理における言語データマイニングのパラダイムを革新しました。

これらの研究に従って、研究者は音声やビジョンなどのさまざまなモダリティのための広範なモデルを調査してきました。彼らの人間の話し言葉に似たテキストを生成する能力は、表形式のデータを扱うための新たなアプローチを開拓しました。ただし、標準のChatGPTモデルを表形式のデータ領域で使用することは困難です。その理由は以下の2つです：（i）グローバルな表理解：GPTはトークンの長さ制限があるため、巨大な表をスキャンし、その中に含まれる情報を理解することが困難です。 （ii）彼らのトレーニング手法は自然言語のために設計されているため、表形式のデータを扱う際には一般化能力が低いです。いくつかの研究では、表形式のデータ分析に自然言語を組み込んだ手法が開発されています。

自然言語からSQL（NL2SQL）は、自然言語をリレーショナルデータベースを制御するSQLの命令に変換する、確立された研究領域です。SheetCopilotは最近、スプレッドシートソフトウェアのさまざまな機能を使用するために、VBA（Microsoft Excelの埋め込みスクリプト言語であるVisual Basic for Applications）を制御するための言語を調査しました。しかし、いずれの選択肢も満足のいく成果を上げることができないことがわかりました。彼らは、これらの固有に構造化されていないコンピュータコードタイプが複雑さを増し、自動的な後処理をほぼ不可能にしていると考えています。本研究では、浙江大学の研究者がTableGPTを作成し、LLMアプローチを使用してデータを分析する際の可能性を広げました。これはデータへのアクセスと理解を容易にするための彼らの探求の重要な進歩です。彼らのTableGPTシステムは、表、音声指示、プレーンな言語を組み合わせた統一されたGPTモデルであり、データの解釈の使いやすさと直感性を向上させます。

• ReLoRa GPU上で大規模な言語モデルを事前学習する
• SimPer：周期的なターゲットの簡単な自己教示学習
• LMSYS ORG プレゼント チャットボット・アリーナ：匿名でランダムなバトルを行うクラウドソーシング型 LLM ベンチマーク・プラットフォーム

彼らは、表、話し言葉、指示が相互作用する方法を再考し、TableGPTに多くの要素を組み合わせました：

• グローバルな表現：彼らは、表のグローバルな表現のための学習パラダイムを作成する最初の試みを行い、表全体を1つのベクトルにエンコードする方法を提供しています。彼らは、LLMとエンコーダを同時に大量のテキストと表データでトレーニングすることで、入力表のグローバルな情報を効果的に捉えることができるように、表エンコーダを装備しています。その結果、LLMは表データをより良く見ることができ、理解することができるため、より包括的かつ改善された表の理解が提供されます。

• コマンドチェーン：彼らは、タスクの実行における組織化された階層的アプローチの重要性を強調するために、この概念を使用しています。TableGPTは同じコマンドのシーケンスに従い、難しい作業をより簡単な作業に分割し、ステップバイステップで実行します。これは、上位レベルから下位レベルにかけて指示が連鎖されるような、よく調整された組織のようなものです。さらに、これにより、不明確または不適切な指示を拒否する能力が促進されます。これは、従来の手法を使用して表形式のデータを処理する際に頻繁に生じる曖昧さを軽減し、使用しやすくします。

• ドメインに関する意識の微調整：モデルが特定のドメインの表データを理解する能力を向上させるために、ドメインに関する意識の微調整が行われます。この微調整により、モデルは与えられたドメインに存在するスタイリスティックおよび論理的要素と似たテキストを生成することができるようになります。これにより、さまざまなドメインの表と対応するテキスト素材に適応する能力が向上します。この戦略を実用的かつスケーラブルにするために、データ処理パイプラインも作成されています。NL2SQLで生成される非構造化のコードは、現実のプロダクション環境での事前チェックやエラー修正において重大な困難を引き起こします。そのため、彼らは構造化されたコマンドシーケンスの使用をサポートし、後処理を容易にすることを提案しています。

自己指導型のData-Copilotもこのコマンドベースの方法論を採用しています。ただし、直接的に表形式のデータの処理と分析のロジックを理解するために使用されるAPIであるネイティブLLMに依存しているため、欠点もあります。彼らは、成功したソリューションは表形式のデータに特化して設計する一方で、表形式のデータの固有の予測不可能性とタスク特異性を保ちつつ、より大規模な下流の活動に広く適用可能であるべきだと考えています。この信念は、特に表形式のデータに特化した事前トレーニング済みのLLMを実装することがいかに重要かを強調しています。結論として、この研究では、画期的なTableGPTフレームワークを提案し、効果的な表形式のデータ処理、分析、可視化を可能にする包括的で統合された自然言語駆動型のソリューションを実現しています。

TableGPTのいくつかの重要な利点をリストします：

• 言語に基づくEDA：TableGPTは、平易な言語を使用してユーザーの意図を分析し、必要なアクションを分解し、テーブル上で外部コマンドを実行します。その後、ユーザーには、処理された結果が表形式と文章で提供されます。この革新的な技術により、探索的データ分析（EDA）は直感的に具現化され、ユーザーが表データと対話するのが容易になります。

• 統合的なクロスモーダルフレームワーク：彼らはグローバルなテーブルエンコーダーを開発し、テーブル全体を理解する能力を創造的に実現しました。TableGPTはユーザーのクエリ、メタ知識、および全体の表データを完全に理解する能力を持つため、テーブル操作の実行コマンドは非常に信頼性が高くなります。

• 一般化とプライバシー：TableGPTは、ドメインに対応した微調整により、テーブル内のデータの異質性をより良く管理し、多くのドメインに一般化することができます。また、彼らのシステムはプライベートな展開が可能であり、強力なデータプライバシー保護を提供します。データプライバシーと保護が重要視される現代において、この機能は非常に重要です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!