清華大学の研究者たちは、メタラーニングの枠組みの下で新しい機械学習アルゴリズムを紹介しました

Researchers at Tsinghua University introduced a new machine learning algorithm under the framework of meta-learning.

深層学習の教師ありタスクにおける最近の成果は、大量のラベル付きトレーニングデータの利用可能性によるものです。しかし、正確なラベルを収集するには多大な労力と費用がかかります。実際のコンテキストでは、トレーニングデータの一部しかラベルが付いていないことがよくあります。半教師あり学習(SSL)は、ラベル付きおよびラベルなしの入力を使用してモデルの性能を向上させることを目指しています。ディープラーニングに適用される多くの効果的なSSL手法は、ラベルなしデータを使用するために教師なしの一貫性正則化を行います。

最新の一貫性ベースのアルゴリズムは通常、優れたパフォーマンスを達成していても、いくつかの設定可能なハイパーパラメータを導入します。最適なアルゴリズムのパフォーマンスを得るために、これらのハイパーパラメータを最適な値に調整するのが一般的な方法です。残念ながら、多くの現実世界のSSLシナリオでは、医用画像処理、ハイパースペクトル画像分類、ネットワークトラフィック認識、文書認識などのように、注釈付きデータが少ないため、ハイパーパラメータの検索は頼りないことがよくあります。ハイパーパラメータの値によってアルゴリズムのパフォーマンスが影響を受けることは、この問題をさらに深刻にします。また、ハイパーパラメータの数に関連して探索空間が指数関数的に増加するため、最新のディープラーニングアルゴリズムでは計算コストが制御不能になる可能性があります。

清華大学の研究者は、Meta-Semiというメタ学習ベースのSSLアルゴリズムを導入し、ラベル付きデータをより活用します。Meta-Semiは、さらに1つのハイパーパラメータを調整することで、多くのシナリオで優れたパフォーマンスを発揮します。

研究チームは、適切に「疑似ラベル」の付いた未注釈の例を使用してネットワークを成功裏にトレーニングできる可能性に気付きました。具体的には、オンライントレーニングフェーズでは、ネットワークの予測に基づいて未注釈データに対して疑似ソフトラベルを生成します。次に、信頼性の低いまたは不正確な疑似ラベルを持つサンプルを削除し、残りのデータを使用してモデルをトレーニングします。この研究では、正確な「疑似ラベル」データの分布はラベル付きデータの分布と比較可能であるべきだと示されています。ネットワークが前者でトレーニングされる場合、後者の最終的な損失も最小限に抑えられるべきです。

研究者たちは、最終的な損失を最小化するために最適な重み(本論文では常にニューラルネットワークのパラメータを指すのではなく、各ラベルなしサンプルを再重み付けするために使用される係数を指す)を選択することで、メタリウェーティング目標を定義しました。この問題を最適化アルゴリズムを使用して解決する際に、研究者たちは計算上の困難に直面しました。

そのため、彼らは閉形式の解が導かれる近似式を提案しています。理論的には、各トレーニングイテレーションは近似解を達成するために単一のメタ勾配ステップのみを必要とすることを示しています。

結論として、彼らは以前に疑似ラベル付けされたサンプルに0-1の重みを再重み付けする動的な重み付けアプローチを提案しています。その結果、このアプローチは最終的な教師あり損失関数の安定点に到達することが示されています。人気のある画像分類ベンチマーク(CIFAR-10、CIFAR-100、SVHN、およびSTL-10)では、提案手法が最新のディープネットワークよりも優れたパフォーマンスを発揮することが示されています。難しいCIFAR-100とSTL-10のSSLタスクでは、Meta-SemiはICTやMixMatchなどの最新のSSLアルゴリズムよりもはるかに高いパフォーマンスを発揮し、CIFAR-10ではそれらよりもわずかに優れたパフォーマンスを発揮します。さらに、Meta-Semiは一貫性ベースの手法に有用な追加要素です。一貫性正則化をアルゴリズムに組み込むことで、パフォーマンスがさらに向上します。

研究者によると、Meta-Semiはトレーニングに少し時間がかかるという欠点があります。彼らは将来的にこの問題を調査する予定です。

この研究に関する論文と参考記事をご覧ください。この研究のすべてのクレジットはこのプロジェクトの研究者に帰属します。また、最新のAI研究ニュース、クールなAIプロジェクトなどを共有している26k+ ML SubRedditDiscord ChannelEmail Newsletterにぜひご参加ください。

Tensorleapの説明可能性プラットフォームでディープラーニングの秘密を解き放つ

この記事はMarkTechPostに掲載されたものです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIテクノロジー

プロンプトエンジニアリングにおける並列処理:思考の骨格技術

「スケルトン・オブ・ソウトと呼ばれるプロンプトエンジニアリング技術が、レイテンシを削減し、構造化された出力を提供し、...

AI研究

このAI研究は、多モーダル大規模言語モデル(LLM)の言語生成能力を受け継ぐ大規模言語指示セグメンテーションアシスタントであるLISAを紹介しています

コーヒーを飲みたいと思った場合、ロボットに作ってもらうように指示することを想像してください。指示には「コーヒーのカッ...

機械学習

このAI論文は、デュアル1-Dヒートマップを使用したリアルタイムマルチパーソンポーズ推定の画期的な技術であるRTMOを紹介しています

姿勢推定とは、物体の位置と方向を空間上で決定することを含む分野であり、継続的に新しい手法を開発して精度とパフォーマン...

データサイエンス

「データストーリーテリングとアナリティクスにおける生成AIのインパクトの公開」

導入 データ分析の広大な領域の中で、ゲネラティブ人工知能(GAI)はゲームを変える最も重要な進展の一つです。これは、歴史...

人工知能

二党間の法案が提出され、AIのリスクや規制に対処するためのブルーリボンパネルが提案されています

カリフォルニア州選出の代表テッド・リュウ(民主党)は、人工知能によって引き起こされるリスクを理解し、可能であれば規制...

データサイエンス

「トランスフォーマーはNFLプレーを生成できます:QB-GPTの紹介」

初めて「ストラトフォーマー」についての記事を書いて以来、多くのフィードバックとアイデアをいただいている(まず、ありが...