メタAIの研究者たちは、大規模な言語モデルの生成物を批評するための新しいAIモデルを紹介しました

Researchers of meta AI have introduced a new AI model to critique outputs of large-scale language models.

I had trouble accessing your link so I’m going to try to continue without it.

大規模言語モデル（LLM）の能力は、一貫性のある、文脈に即した、意味のあるテキストを生成することがますます複雑になってきました。しかし、これらの進歩にもかかわらず、LLMはしばしば不正確で疑わしい、意味のない結果を提供します。そのため、継続的に評価し改善する技術は、より信頼性の高い言語モデルに向けて役立つでしょう。言語モデルの出力は、LLMの助けを借りて向上させられています。現在の研究の中には、情報検索型の対話タスクに対して自然言語フィードバックを与えるためにユーティリティ関数を訓練するものもあります。一方、他の研究では、指示プロンプトを使用して、さまざまなドメインのモデル生成テキストの多面的評価スコアを作成しています。

元の研究では、数学や推論などの複雑なタスクのモデル出力の生成についてのフィードバックを提供せず、出力応答に対して一般的なフィードバックのみを提供していましたが、最近の研究では、研究者がLLMを自己フィードバックするために指示を調整する方法を紹介しています。この研究では、Meta AI Researchの研究者がShepherdという、モデルによって生成された出力を評価するために特別に最適化された言語モデルを紹介しています。彼らは、さまざまな分野にわたってコメントを提供できる強力な批判モデルを開発することを目指していますが、以前の研究と同様の目標を共有しています。彼らのアプローチでは、事実性、論理的な欠陥、一貫性、整合性などの特定の問題を特定することができ、必要に応じて結果を改善するための修正を提案することもできます。

• ペンシルベニア大学の研究者たちは、腎臓のマッチングを改善し、移植片の失敗リスクを減らすための機械学習戦略の開発を行っています
• バイトダンスとCMUの研究者は、AvatarVerseを紹介しますテキストの説明とポーズガイダンスの両方で制御される高品質な3Dアバターを生成するための新しいAIパイプラインです
• 中国からの新しいAI研究が、RecycleGPTを紹介しましたRecycleGPTは、完全なモデルを複数のステップで実行せずに、事前生成されたモデルの状態をリサイクルすることで、高速なデコーディングスピード（1.4倍）を持つ生成言語モデルです

具体的には、Shepherdは、深いトピック知識、改善の具体的な提案、広範な判断と推奨事項を含む自然言語のフィードバックを生成することができます。彼らはShepherdを改善し評価するために、2つのユニークなセットの高品質なフィードバックデータセットを開発しました：（1）オンラインフォーラムから収集されたコミュニティフィードバック、より多様な相互作用を捉えるためにキュレーションされたもの、および（2）多くのタスクにわたる生成物を収集した人間による注釈付き入力。図1を参照してください。これらのデータセットの組み合わせでトレーニングされたShepherdは、いくつかの下流タスクでChatGPTモデルを上回る優れたパフォーマンスを発揮しています。コミュニティデータは、人間による注釈付きデータよりも有用で多様です。ただし、コミュニティフィードバックと人間による注釈付きフィードバックデータの効果を詳しく調査した結果、コミュニティフィードバックの方が非公式な傾向があることがわかりました。

これらの微妙な違いにより、Shepherdはさまざまなタスクに対してフィードバックを提供することができ、高品質な人間による注釈付きデータを使用してモデルを微調整することでモデルのパフォーマンスを向上させることがわかりました。彼らはShepherdがAlpaca、SelFee、ChatGPTなどの最先端のベースラインと比較し、モデルベースと人間による評価を行いました。彼らはShepherdの批判が他のモデルの批判よりもよく受け入れられることが多いことを発見しました。たとえば、Alpacaはすべてのモデルの回答を補完する傾向があり、不正確なフィードバックが多く生成されます。SelFeeは、モデルの回答を無視したり、すぐにクエリに回答したりして、間違いを特定する可能性のあるフィードバックを提供しないことがよくあります。

ChatGPTは、さまざまな評価状況でより一貫性があり、正確な判断を伴うコメントを提供する能力が高いことがわかりました。結論として、彼らはShepherdを作成しました。これは、LLMが生成したコンテンツに対して徹底的な批判を行うことができる新しいモデルであり、その品質を効果的に向上させます。彼らは生成された苦情を注意深く分析することで、Shepherdの効果をさまざまな生成タスクにわたって示しています。この分野の将来の研究に役立つ可能性のある優れたフィードバックデータセットの作成も、彼らの研究における重要な追加です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!