AVFormer：凍結した音声モデルにビジョンを注入して、ゼロショットAV-ASRを実現する

AVFormer Injecting vision into a frozen speech model to achieve zero-shot AV-ASR.

Google Researchの研究科学者、Arsha NagraniとPaul Hongsuck Seoによる投稿

自動音声認識（ASR）は、会議通話、ストリームビデオの転写、音声コマンドなど、さまざまなアプリケーションで広く採用されている確立された技術です。この技術の課題は、ノイズのあるオーディオ入力に集中していますが、マルチモーダルビデオ（テレビ、オンライン編集ビデオなど）の視覚ストリームはASRシステムの堅牢性を向上させる強力な手がかりを提供することができます。これをオーディオビジュアルASR（AV-ASR）と呼びます。

唇の動きは音声認識に強力な信号を提供し、AV-ASRの最も一般的な焦点であるが、野外のビデオで口が直接見えないことがよくあります（例えば、自己中心的な視点、顔のカバー、低解像度など）ため、新しい研究領域である拘束のないAV-ASR（AVATARなど）が誕生し、口の領域だけでなく、ビジュアルフレーム全体の貢献を調査しています。

ただし、AV-ASRモデルをトレーニングするためのオーディオビジュアルデータセットを構築することは困難です。How2やVisSpeechなどのデータセットはオンラインの教育ビデオから作成されていますが、サイズが小さいため、モデル自体は通常、ビジュアルエンコーダーとオーディオエンコーダーの両方から構成され、これらの小さなデータセットで過剰適合する傾向があります。それにもかかわらず、オーディオブックから取得した大量のオーディオデータを用いた大規模なトレーニングによって強く最適化された最近リリースされた大規模なオーディオモデルがいくつかあります。LibriLightやLibriSpeechなどがあります。これらのモデルには数十億のパラメータが含まれ、すぐに利用可能であり、ドメイン間で強い汎化性能を示します。

• ビジュアルキャプション：大規模言語モデルを使用して、動的なビジュアルを備えたビデオ会議を補完する
• 多言語での音声合成の評価には、SQuIdを使用する
• スピードは必要なすべてです：GPU意識の最適化による大規模拡散モデルのオンデバイス加速化

上記の課題を考慮して、私たちは「AVFormer：ゼロショットAV-ASRの凍結音声モデルにビジョンを注入する」と題した論文で、既存の大規模なオーディオモデルにビジュアル情報を付加するシンプルな方法を提案しています。同時に、軽量のドメイン適応を行います。AVFormerは、軽量のトレーニング可能なアダプタを使用して、視覚的な埋め込みを凍結されたASRモデルに注入します（Flamingoが大規模な言語モデルに視覚テキストタスクのためのビジュアル情報を注入する方法と似ています）。これにより、最小限の追加トレーニング時間とパラメータで弱くラベル付けられた少量のビデオデータでトレーニング可能です。トレーニング中のシンプルなカリキュラムスキームも紹介し、オーディオとビジュアルの情報を効果的に共同処理できるようにするために重要であることを示します。その結果、AVFormerモデルは、3つの異なるAV-ASRベンチマーク（How2、VisSpeech、Ego4D）で最新のゼロショットパフォーマンスを達成し、同時に伝統的なオーディオのみの音声認識ベンチマーク（LibriSpeechなど）のまともなパフォーマンスを保持しています。

拘束のないオーディオビジュアル音声認識。軽量モジュールを使用して、ビジョンを注入して、オーディオビジュアルASRのゼロショットを実現するために、Best-RQ（灰色）の凍結音声モデルにビジョンを注入します。AVFormer（青）というパラメーターとデータ効率の高いモデルが作成されます。オーディオ信号がノイズの場合、視覚的なパンの生成トランスクリプトでオンリーミステイク「クローブ」を「ローフ」に修正するのに役立つ視覚的なパンが役立つ場合があります。

軽量モジュールを使用してビジョンを注入する

私たちの目標は、既存のオーディオのみのASRモデルにビジュアル理解能力を追加しながら、その汎化性能を各ドメイン（AVおよびオーディオのみのドメイン）に維持することです。

このために、既存の最新のASRモデル（Best-RQ）に次の2つのコンポーネントを追加します：（i）線形ビジュアルプロジェクター、および（ii）軽量アダプター。前者は、オーディオトークン埋め込みスペースにおける視覚的な特徴を投影します。このプロセスにより、別々に事前トレーニングされたビジュアル機能とオーディオ入力トークン表現を適切に接続することができます。後者は、その後最小限の変更で、ビデオのマルチモーダル入力を理解するためにモデルを変更します。その後、これらの追加モジュールを、HowTo100Mデータセットからのラベル付けされていないWebビデオとASRモデルの出力を擬似グラウンドトゥルースとして使用してトレーニングし、Best-RQモデルの残りを凍結します。このような軽量モジュールにより、データ効率と強力なパフォーマンスの汎化が可能になります。

我々は、AV-ASRベンチマークにおいて、モデルが人手で注釈付けされたAV-ASRデータセットで一度もトレーニングされていないゼロショット設定で、拡張モデルを評価しました。

ビジョン注入のためのカリキュラム学習

初期評価後、私たちは経験的に、単純な一回の共同トレーニングでは、モデルがアダプタとビジュアルプロジェクタの両方を一度に学習するのが困難であることがわかりました。この問題を緩和するために、私たちは、これら2つの要因を分離し、ネットワークを順序良くトレーニングする2段階のカリキュラム学習戦略を導入しました。最初の段階では、アダプタパラメータが全くフィードされずに最適化されます。アダプタがトレーニングされたら、ビジュアルトークンを追加し、トレーニング済みのアダプタを凍結したまま第2段階でビジュアルプロジェクションレイヤーのみをトレーニングします。

最初の段階は、音声ドメイン適応に焦点を当てています。第2段階では、アダプタが完全に凍結され、ビジュアルプロジェクタは、ビジュアルトークンをオーディオ空間に投影するためのビジュアルプロンプトを生成することを学習する必要があります。このように、私たちのカリキュラム学習戦略は、モデルがAV-ASRベンチマークでビジュアル入力を統合し、新しい音声ドメインに適応することを可能にします。私たちは、交互に適用する反復的な適用では性能が低下するため、各段階を1回だけ適用します。

AVFormerの全体的なアーキテクチャとトレーニング手順。アーキテクチャは、凍結されたConformerエンコーダー・デコーダーモデル、凍結されたCLIPエンコーダー（グレーのロックシンボルで示される凍結層を持つ）、および2つの軽量トレーニング可能なモジュールで構成されています。-（i）ビジュアルプロジェクションレイヤー（オレンジ）およびボトルネックアダプタ（青）を有効にし、多モーダルドメイン適応を可能にします。私たちは、2段階のカリキュラム学習戦略を提案しています。最初に、アダプタ（青）をビジュアルトークンなしでトレーニングします。その後、ビジュアルプロジェクションレイヤー（オレンジ）を調整し、他のすべての部分を凍結したままトレーニングします。

下のプロットは、カリキュラム学習なしでは、AV-ASRモデルがすべてのデータセットでオーディオのみのベースラインよりも劣っており、より多くのビジュアルトークンが追加されるにつれてその差が拡大することを示しています。一方、提案された2段階のカリキュラムが適用されると、AV-ASRモデルは、オーディオのみのベースラインよりも遥かに優れたパフォーマンスを発揮します。

カリキュラム学習の効果。赤と青の線はオーディオビジュアルモデルであり、ゼロショット設定で3つのデータセットに表示されます（WER％が低い方が良いです）。カリキュラムを使用すると、すべての3つのデータセットで改善します（How2（a）およびEgo4D（c）では、オーディオのみのパフォーマンスを上回るために重要です）。4つのビジュアルトークンまで性能が向上し、それ以降は飽和します。

ゼロショットAV-ASRでの結果

私たちは、How2、VisSpeech、Ego4Dの3つのAV-ASRベンチマークで、zero-shotパフォーマンスのために、BEST-RQ、私たちのモデルの音声バージョン、およびAVATARを比較しました。AVFormerは、すべてのベンチマークでAVATARとBEST-RQを上回り、BEST-RQでは600Mパラメータをトレーニングする必要がありますが、AVFormerはわずか4Mパラメータしかトレーニングせず、トレーニングデータセットのわずか5％しか必要としません。さらに、音声のみのLibriSpeechでのパフォーマンスも評価し、AVFormerは両方のベースラインを上回ります。

AV-ASRデータセット全体におけるゼロショット性能に対する最新手法との比較。音声のみのLibriSpeechのパフォーマンスも示します。結果はWER%（低い方が良い）として報告されています。 AVATARとBEST-RQはHowTo100Mでエンドツーエンド（すべてのパラメータ）で微調整されていますが、AVFormerは微調整されたパラメータの少ないセットのおかげで、データセットの5％でも効果的に機能します。

結論

私たちは、既存の凍結された最新ASRモデルをAV-ASRに適応させるための軽量な方法であるAVFormerを紹介しました。私たちのアプローチは実用的で効率的であり、印象的なゼロショット性能を実現しています。 ASRモデルがますます大きくなるにつれて、事前にトレーニングされたモデルのパラメータセット全体を調整することは実用的ではありません（特に異なるドメインの場合）。私たちの方法は、ドメインの移行と視覚的な入力の混合を同じ、パラメータ効率の良いモデルでシームレスに許可します。

謝辞

この研究は、Paul Hongsuck Seo、Arsha Nagrani、およびCordelia Schmidによって実施されました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!