Google AI Researchは、大規模言語モデル(LLM)を使用した個別のテキスト生成の一般的なアプローチを提案しています

Google AI Researchは、大規模言語モデル(LLM)を使用したテキスト生成の一般的なアプローチを提案しています

AIを利用したコンテンツ生成を容易にするためにAIベースの技術が台頭してきたことで、個別のテキスト生成が注目されています。特定の対象読者、創作文脈、情報ニーズに適した生成システムを作成するためには、ユーザーが既に書いた文書などの追加の文脈も考慮に入れた個別の応答ができる必要があります。

研究者たちは、レビュー、チャットボット、ソーシャルメディアなどのさまざまな状況でのカスタマイズされたテキストの作成に取り組んできました。既存の多くの研究は、タスクに特化したモデルを提案し、ドメイン固有の特徴や情報に依存しています。どのようにしてどの状況でも使用できる汎用的な戦略を作成するかという問題にはあまり注目されていません。大規模言語モデル(LLM)は、ChatGPT1やBard2などのチャットボットを通じて特にテキスト生成のタスクで注目を集めています。しかし、LLMにそのような機能を持たせる方法については、ほとんど研究が行われていません。

最近のGoogleの研究では、豊富な言語リソースを活用してユニークなコンテンツを生成するための汎用的な手法を提案しています。彼らの研究は、外部ソースを利用した執筆プロセスをより小さなステップに分解する一般的な執筆指示の方法に触発されています。具体的には、研究、ソース評価、要約、統合のような手順に分割しています。

個別のテキスト生成のためにLLMを訓練するため、チームは同様のアプローチを取り、検索、ランキング、要約、合成、生成などのマルチステージマルチタスク構造を採用しています。具体的には、現在のドキュメントのタイトルと最初の行から質問を作成し、ユーザーが以前に書いた文書などの個人的な文脈のセカンダリリポジトリから関連情報を取得します。

次に、関連性と重要性に基づいてランク付けした結果を要約します。検索と要約に加えて、取得した情報をキーエレメントに統合し、それを大規模言語モデルに入力して新しいドキュメントを生成します。

言語教育の分野では、読むことと書くことのスキルは共に発展するという共通の観察があります。さらに、研究によると、読書能力のレベルと量は、著者の認識活動によって測定でき、読解力と相関しています。これらの2つの結果から、研究者たちは、大規模言語モデルに特定のテキストの著者を識別する補助的なタスクを追加することで、読解能力を向上させることを目指したマルチタスキング環境を作成しました。この挑戦をモデルに与えることで、提供されたテキストをより正確に解釈し、より魅力的で個別化された文章を生成できると期待しています。

チームは、電子メールのやり取り、ソーシャルメディアの議論、製品レビューからなる3つの公開データセットを使用して、提案されたモデルの性能を評価しました。マルチステージマルチタスクフレームワークは、すべての3つのデータセットでいくつかの基準モデルに比べて大幅な改善が見られました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

精度を超えて:長期的なユーザー維持のための偶然性と新規性の推奨事項の受け入れ

あなたはカフェに座って、お気に入りのコーヒーバリエーション(もちろんカプチーノ)を味わいながら、友達との会話に没頭し...

AI研究

SalesForceのAI研究者が、マスク不要のOVISを紹介:オープンボキャブラリーインスタンスセグメンテーションマスクジェネレータ

インスタンスセグメンテーションは、複数のオブジェクトを同じクラスに属するものとして、それらを異なるエンティティとして...

データサイエンス

「NVIDIA H100 Tensor Core GPUを使用した新しいMicrosoft Azure仮想マシンシリーズが一般利用可能になりました」

Microsoft Azureのユーザーは、最新のNVIDIAの高速計算技術を利用して、生成型AIアプリケーションのトレーニングと展開ができ...

AIニュース

「AIが数秒でゼロから新しいロボットをデザイン」

ノースウェスタン大学の科学者のリーダーである研究チームが、ほぼ即座にゼロからロボットを設計することができる人工知能を...

AIニュース

ランウェイの新しい「モーションブラシ」機能は、Gen-2においてあなたのジェネレーションに制御された動きを追加することを可能にします

ビデオ生成では、ユーザーは平文からビデオを作成するという困難に常に直面してきました。従来の方法では、緻密なソフトウェ...

AI研究

スタンフォード大学の研究者たちは、「ギスティング:言語モデルにおける効率的なプロンプト圧縮のための新しい技術」というものを紹介しました

モデルの特殊化は、事前に学習された機械学習モデルを特定のタスクやドメインに適応させることを意味します。言語モデル(LM...