次世代の終わりのない学習者のベンチマーク化
'Endless learner benchmarking for the next generation'
30年のコンピュータビジョン研究に基づいて知識を積み重ねる方法を学ぶ
わずか数年で、大規模な深層学習（DL）モデルは、タンパク質構造の予測から自然言語処理、ビジョンまで、さまざまな領域で前例のない成功を収めています[1, 2, 3]。機械学習エンジニアや研究者は、強力な新しいハードウェアのおかげで、モデルをスケールアップし、より多くのデータでトレーニングすることができるようになり、これらの成功をほとんど成し遂げました。
スケールアップは素晴らしい能力をもたらしましたが、DLモデルはリソースを消費する場合もあります。たとえば、大規模なモデルが展開されると、1つのタスクで学んだことが次のタスクの学習を促進するためにほとんど利用されません。さらに、新しいデータやより多くの計算リソースが利用可能になると、大規模なモデルは通常、ゼロから再トレーニングされます – 高価で時間のかかるプロセスです。
これは、これらの大規模モデルの効率とパフォーマンスのトレードオフを改善できるかどうかという問題を提起します。その答えの1つは、時間とともに知識を蓄積し、新しい状況や新しいタスクにより効率的に適応できるモデルの開発を促進することです。
NEVIS’22の紹介
私たちの新しい論文、NEVIS’22：30年のコンピュータビジョン研究からサンプリングされた100のタスクストリームは、制御可能で再現可能な環境で効率的な知識転送の問題を研究するための遊び場を提案しています。Never-Ending Visual classification Stream（NEVIS’22）は、評価プロトコル、初期ベースライン、オープンソースのコードベースを備えたベンチマークストリームです。このパッケージは、モデルが将来のタスクをより効率的に学習する方法を研究する機会を提供します。
NEVIS’22は、実際には過去30年間の主要なコンピュータビジョン会議のオンライン論文集からランダムに抽出された106のタスクで構成されています。それぞれのタスクは教師あり分類タスクであり、機械学習で最も理解されているアプローチです。そして重要なことに、タスクは年代順に配置されており、より困難で広範なものになり、関連するタスクの成長するセットから知識を転送する機会が増えます。課題は、有用な知識を次のタスクに自動的に転送する方法で、より良いまたはより効率的なパフォーマンスを達成することです。
私たちの論文の付録Hで参照されているデータセットから派生したいくつかの画像を以下に示します：
NEVIS’22は再現性があり、最新の学習アルゴリズムをテストするのに十分なスケールがあります。ストリームには、光学文字認識やテクスチャ解析から人数のカウント、シーン認識まで、さまざまなタスクが含まれています。タスクの選択プロセスはランダムに行われたため、特定のアプローチを好むわけではなく、単にコンピュータビジョンコミュニティが時間の経過とともに興味深いと考えたものを反映しています。
NEVIS’22はデータに関するだけでなく、学習モデルの訓練と評価に使用される方法にも関係しています。私たちは、エラーレートと計算リソース（後者は浮動小数点演算の数で測定される）の間のトレードオフによって、学習者を評価します。たとえば、NEVIS’22でより低いエラーレートを達成しても、それが合理的な計算コストである場合には十分ではありません。代わりに、モデルが正確かつ効率的であることを奨励しています。
初期の結果と開かれた課題
私たちの初期の実験では、より良いトレードオフを実現するモデルは、タスク間で共有される構造を活用し、いくつかの形式の転移学習を採用しているものです。特に、巧妙な微調整手法は、大規模な事前学習済みモデルと組み合わせた場合でも非常に競争力があります。この後者の発見は、大規模モデルの一般的な表現をさらに改善する可能性を示しており、完全に新しい研究の道を開いています。私たちは、NEVIS’22が効率的で効果的な絶え間ない学習モデルの開発を目指していく中で、コミュニティにとってエキサイティングな新たな課題を提供すると考えています。
私たちの論文を読んで、コードをダウンロードして、NEVIS’22についてさらに詳しく知ってください。
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
