Google AIは、スケールで事前に訓練されたニューラルネットワークを剪定するための最適化ベースのアプローチ、CHITAを紹介します

Google AI introduces CHITA, an optimization-based approach for pruning pre-trained neural networks at scale.

今日のニューラルネットワークの成果は、言語、数学、ビジョンなど、さまざまな分野で驚くべきものです。ただし、これらのネットワークは通常、実行にリソースを多く必要とする複雑な構造を利用しています。ウェアラブルやスマートフォンなどのリソースが限られた環境では、このようなモデルをユーザーに提供することは実用的ではありません。事前学習済みのネットワークをプルーニングすることで、推論コストを下げるために重みの一部を削除します。典型的なニューラルネットワークの各重みは、2つのニューロン間のリンクを指定します。重みを削減することにより、入力はより管理しやすいリンクのサブセットを通過し、必要な処理時間を短縮します。

MITとGoogleの研究者グループによって開発されたCHITA(組合わせヘシアンフリー反復しきい値アルゴリズム)フレームワークは、大規模なネットワークのプルーニングにおける効果的な最適化ベースの戦略です。この方法は、2次ヘシアンの局所二次関数を使用して損失関数を近似する以前の研究に基づいています。他の取り組みとは異なり、彼らはヘシアン行列を計算および保存せずに最適化問題を解決するための単純で重要な洞察を活用しており、効率的に大規模なネットワークに対処します(したがって、「Hessian-free」はCHITAの名前の一部です)。

回帰の再定式化をさらに簡略化するために、彼らはアクティブセット戦略、改善されたステップサイズ選択、およびその他のテクニックを使用した新しい手法を提案して収束を加速します。スパースな学習文献で広く使用されている反復ハードしきい値技術と比較して、提案された手法は大幅な利益をもたらします。このフレームワークは、4.2Mのパラメータを持つネットワークを20%にまで削減することができます。

以下は貢献の要約です:

損失関数の局所二次近似に基づいて、研究者はネットワークのプルーニングのための最適化フレームワークであるCHITAを提案します。

大規模で密なヘシアンの保存に関連するメモリオーバーヘッドを排除するために、彼らは制約付きの疎な回帰の再定式化を提案します。

CHITAは、疎な回帰の高品質な解を得るための新しいIHTベースの手法に大きく依存しています。問題の構造を利用することで、重みのサポートの重みの迅速な更新や効果的なステップサイズ選択など、収束を加速し、プルーニングのパフォーマンスを向上させる解決策を提供します。標準的なネットワークのプルーニングアルゴリズムと比較して、これによりパフォーマンスが最大1000倍向上することがあります。

研究者によってモデルとデータセットのパフォーマンスの改善も示されています。

計算のための効率的なプルーニングの定式化

元のネットワークから一部の重みのみを保持することで、さまざまなプルーニング候補が導かれます。kはユーザーによって設定される保持する重みのパラメータを表します。すべての潜在的なプルーニング候補(つまり、k個の重みのみを持つ重みの部分集合)の中から、損失が最も小さい候補が選ばれます。これは、最良の部分集合選択(BSS)問題としてプルーニングを論理的に定式化したものです。

CHITAは、ヘシアン行列を明示的に計算せずに、そのすべての情報を利用することで、プルーニング問題(二次損失のBSS)の再定式化バージョンを使用します。これは、経験的フィッシャー情報行列が低ランクであるという事実を利用しています。この新しい形式は、ネットワーク内のニューロンの重みが回帰係数を表す、疎な線形回帰問題と考えることができます。

スケーラブルな最適化のアルゴリズム

回帰係数のうち最大k個の(絶対値が最も大きい)係数を超えるものは、IHTの勾配降下法の各更新後にゼロになります。ほとんどの場合、IHTは重み全体を最適化しながら潜在的なプルーニングの代替手段を反復的に調査することによって、満足のいく解を提供します。

結論として、研究者は、ヘシアンフリー制約回帰の唯一の形式化と組合わせ最適化技術に基づくネットワークプルーニングフレームワークであるCHITAを提案しました。シングルステージのアプローチは、ランタイムとメモリの使用を大幅に改善しながら、以前の手法と同等の結果を得ることができます。さらに、マルチステージ戦略は、シングルステージの手法を基にしているため、モデルの精度を向上させることができます。また、既存の徐々にプルーニングするフレームワークにプルーニング手法を追加することで、最新の精度を持つスパースネットワークを実現できることも示しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

ヨハネス・ケプラー大学の研究者たちは、GateLoopを紹介します:線形循環とデータ制御された状態遷移によるシーケンスモデリングの進歩

ヨハネス・ケプラー大学の研究者が、効率的な長いシーケンスのモデリングのために線形再帰の可能性を活用する革新的なシーケ...

機械学習

インフレクション-2はGoogleのPaLM-2を超える:AI言語モデルのブレークスルー

In a groundbreaking announcement, Inflection AI, the creators of the popular PI AI Personal Assistant, unveiled their...

機械学習

「AIがクリーンエネルギーの未来を支える方法」

人工知能は、最先端の技術と共に太陽と風の力を利用して世界を改善しています。 I AM AI ビデオシリーズの最新エピソードでは...

データサイエンス

『Re Invent 2023の私のお勧め』

ここに私のお気に入りのリストがありますが、特定の順序はありません (Koko ni watashi no okiniiri no risuto ga arimasu ga...

人工知能

「ネクサスフローのNexusRaven-V2がGPT-4を自分のゲームで打ち負かす方法!」

人工知能の急速に進化する風景の中で、確立されたAIモデルの支配に挑戦する新たな候補が現れました。テックサークルで話題の...

AIニュース

「FacebookとInstagramにて、Metaが新しいAI機能を発表」

人工知能において注目すべき進展が詰まった2022年において、Metaは革新的な進歩を遂げ、確実にリードを取っています。仮想ア...