「TableGPTという統合された微調整フレームワークにより、LLMが外部の機能コマンドを使用してテーブルを理解し、操作できるようになります」

The integrated fine-tuning framework TableGPT enables LLM to understand and manipulate tables using external function commands.

表は、財務分析、サプライチェーン管理、ヘルスケア分析など、さまざまなコンテキストでデータ駆動型の意思決定の基盤として頻繁に使用され、データの広範で複雑な世界を表現するためのものであり、トレンドやパターン、関連性を分析することで、利害関係者がより良いビジネスの選択をし、プロセスとリソースを最適化するのに役立ちます。データサイエンティストは、複雑なExcelの数式やカスタムプログラムを使用して表を処理することに長い間取り組んできました。その結果、表形式のデータのより効果的な理解と解釈への需要が高まっています。大規模言語モデル(LLM)またはGenerative Pre-trained Transformers(GPT)は、自然言語処理における言語データマイニングのパラダイムを革新しました。

これらの研究に従って、研究者は音声やビジョンなどのさまざまなモダリティのための広範なモデルを調査してきました。彼らの人間の話し言葉に似たテキストを生成する能力は、表形式のデータを扱うための新たなアプローチを開拓しました。ただし、標準のChatGPTモデルを表形式のデータ領域で使用することは困難です。その理由は以下の2つです:(i)グローバルな表理解:GPTはトークンの長さ制限があるため、巨大な表をスキャンし、その中に含まれる情報を理解することが困難です。 (ii)彼らのトレーニング手法は自然言語のために設計されているため、表形式のデータを扱う際には一般化能力が低いです。いくつかの研究では、表形式のデータ分析に自然言語を組み込んだ手法が開発されています。

自然言語からSQL(NL2SQL)は、自然言語をリレーショナルデータベースを制御するSQLの命令に変換する、確立された研究領域です。SheetCopilotは最近、スプレッドシートソフトウェアのさまざまな機能を使用するために、VBA(Microsoft Excelの埋め込みスクリプト言語であるVisual Basic for Applications)を制御するための言語を調査しました。しかし、いずれの選択肢も満足のいく成果を上げることができないことがわかりました。彼らは、これらの固有に構造化されていないコンピュータコードタイプが複雑さを増し、自動的な後処理をほぼ不可能にしていると考えています。本研究では、浙江大学の研究者がTableGPTを作成し、LLMアプローチを使用してデータを分析する際の可能性を広げました。これはデータへのアクセスと理解を容易にするための彼らの探求の重要な進歩です。彼らのTableGPTシステムは、表、音声指示、プレーンな言語を組み合わせた統一されたGPTモデルであり、データの解釈の使いやすさと直感性を向上させます。

彼らは、表、話し言葉、指示が相互作用する方法を再考し、TableGPTに多くの要素を組み合わせました:

• グローバルな表現:彼らは、表のグローバルな表現のための学習パラダイムを作成する最初の試みを行い、表全体を1つのベクトルにエンコードする方法を提供しています。彼らは、LLMとエンコーダを同時に大量のテキストと表データでトレーニングすることで、入力表のグローバルな情報を効果的に捉えることができるように、表エンコーダを装備しています。その結果、LLMは表データをより良く見ることができ、理解することができるため、より包括的かつ改善された表の理解が提供されます。

• コマンドチェーン:彼らは、タスクの実行における組織化された階層的アプローチの重要性を強調するために、この概念を使用しています。TableGPTは同じコマンドのシーケンスに従い、難しい作業をより簡単な作業に分割し、ステップバイステップで実行します。これは、上位レベルから下位レベルにかけて指示が連鎖されるような、よく調整された組織のようなものです。さらに、これにより、不明確または不適切な指示を拒否する能力が促進されます。これは、従来の手法を使用して表形式のデータを処理する際に頻繁に生じる曖昧さを軽減し、使用しやすくします。

• ドメインに関する意識の微調整:モデルが特定のドメインの表データを理解する能力を向上させるために、ドメインに関する意識の微調整が行われます。この微調整により、モデルは与えられたドメインに存在するスタイリスティックおよび論理的要素と似たテキストを生成することができるようになります。これにより、さまざまなドメインの表と対応するテキスト素材に適応する能力が向上します。この戦略を実用的かつスケーラブルにするために、データ処理パイプラインも作成されています。NL2SQLで生成される非構造化のコードは、現実のプロダクション環境での事前チェックやエラー修正において重大な困難を引き起こします。そのため、彼らは構造化されたコマンドシーケンスの使用をサポートし、後処理を容易にすることを提案しています。

自己指導型のData-Copilotもこのコマンドベースの方法論を採用しています。ただし、直接的に表形式のデータの処理と分析のロジックを理解するために使用されるAPIであるネイティブLLMに依存しているため、欠点もあります。彼らは、成功したソリューションは表形式のデータに特化して設計する一方で、表形式のデータの固有の予測不可能性とタスク特異性を保ちつつ、より大規模な下流の活動に広く適用可能であるべきだと考えています。この信念は、特に表形式のデータに特化した事前トレーニング済みのLLMを実装することがいかに重要かを強調しています。結論として、この研究では、画期的なTableGPTフレームワークを提案し、効果的な表形式のデータ処理、分析、可視化を可能にする包括的で統合された自然言語駆動型のソリューションを実現しています。

TableGPTのいくつかの重要な利点をリストします:

• 言語に基づくEDA:TableGPTは、平易な言語を使用してユーザーの意図を分析し、必要なアクションを分解し、テーブル上で外部コマンドを実行します。その後、ユーザーには、処理された結果が表形式と文章で提供されます。この革新的な技術により、探索的データ分析(EDA)は直感的に具現化され、ユーザーが表データと対話するのが容易になります。

• 統合的なクロスモーダルフレームワーク:彼らはグローバルなテーブルエンコーダーを開発し、テーブル全体を理解する能力を創造的に実現しました。TableGPTはユーザーのクエリ、メタ知識、および全体の表データを完全に理解する能力を持つため、テーブル操作の実行コマンドは非常に信頼性が高くなります。

• 一般化とプライバシー:TableGPTは、ドメインに対応した微調整により、テーブル内のデータの異質性をより良く管理し、多くのドメインに一般化することができます。また、彼らのシステムはプライベートな展開が可能であり、強力なデータプライバシー保護を提供します。データプライバシーと保護が重要視される現代において、この機能は非常に重要です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

コンピュータービジョンによる車両損傷検出の構築方法

「2つのモデルを使用したコンピュータビジョンソリューションの設計原則を探求し、Mask R-CNNとU-Net AIアルゴリズムの能力を...

機械学習

「ジェネラティブAIおよびMLモデルを使用したメールおよびモバイル件名の最適化」

「ジェネレーティブAIとMLモデルを併用して、最大のエンゲージメントを得るために、トーンと対象読者に合わせた魅力的な件名...

データサイエンス

「AI戦略にデータ管理を実装する方法」

データはAI戦略の核ですデータの品質、データの統合、データのガバナンスは、データを最も効果的に扱うための3つの主要な要素...

機械学習

『NVIDIAのCEO、ジェンソン・ファング氏がテルアビブで開催されるAIサミットの主演を務めます』

NVIDIAの創設者兼CEOであるJensen Huang氏は、10月15日から16日までテルアビブで開催されるNVIDIA AIサミットで、生成型AIと...

機械学習

このAIニュースレターは、あなたが必要なもの全てです#58

今週、私たちはNLPの領域外でAIの2つの新しい進展を見ることに興奮しましたMeta AIの最新の開発では、彼らのOpen Catalystシ...

データサイエンス

「オンライン大規模な推薦のためのデュアル拡張二つのタワーモデル」

推薦システムは、ユーザーに個別にカスタマイズされた提案を提供するために設計されたアルゴリズムですこれらのシステムは、...