Google AIがSimPerを導入：データ内の周期情報を学習するための自己教示対照フレームワーク

Google AIがSimPerを導入：周期情報を学習する自己教示フレームワーク

近年、周期的なデータの認識と理解は、気象パターンのモニタリングから医療設定での重要なバイタルサインの検出まで、さまざまな現実世界のアプリケーションにおいて重要となっています。周期学習は、環境遠隔センシングなどの分野で不可欠な役割を果たしており、天気の変化や地表温度の変動の正確な現在予測を可能にしています。同様に、医療分野では、ビデオ測定からの周期学習は、心房細動や睡眠時無呼吸のエピソードなどの重要な医療状態の特定において有望な結果を示しています。

周期学習の力を利用するための取り組みは、単一のビデオ内の繰り返し活動を特定できるRepNetなどの教師ありアプローチの開発につながりました。しかし、これらの方法は大量のラベル付きデータを必要とするため、リソースが多くかつ困難です。この制約は、SimCLRやMoCo v2などの教師なし学習（SSL）手法を活用して大量のラベルなしデータを利用し、データの周期的または準周期的な時間動態を捉えるという研究者の試みを促しました。これらの手法は分類タスクの解決に成功していますが、データに存在する固有の周期性を完全に理解し、周期的または周波数属性に対して堅牢な表現を作成することには苦労しています。

これらの課題に対処するために、Googleの研究者はSimPerを紹介し、データ内の周期情報を学習するために特に設計された革新的な自己教師対比フレームワークを提案しています。このフレームワークは、周期性に対して不変な変換と周期性に対して変化する変換の同じ入力インスタンスから派生した正例と負例を使用して、周期性の時間特性を活用して学習を行います。

• 新しい研究は、ソフト自己駆動摩擦電気ナノ発電装置と深層学習支援データ分析に基づく水中3次元触覚テンセグリティ（U3DTT）を提案しています
• 「DataOps.liveでDataOpsの成功を解き放つ：Gartnerの市場ガイドに掲載！」
• 「モデルの解釈性のためのPFIに深く入り込む」

周期学習の文脈での類似性の測定を明示的に定義するために、SimPerは独自の周期特徴類似性構築を提案しています。この定式化により、ラベル付きデータなしでモデルのトレーニングが可能になり、学習された特徴を特定の周波数値にマッピングするための微調整も可能になります。研究者は、オリジナルの周波数が不明であっても、ラベルのない入力に対して擬似的な速度または周波数ラベルを考案し、SimPerを現実世界のさまざまなアプリケーションに対して非常に汎用性の高いものにしました。

コサイン類似度などの従来の類似性尺度は、特徴ベクトル間の厳密な近接性を強調し、インデックスがシフトした特徴、逆転した特徴、および周波数が変化した特徴に対して感度が高くなります。しかし、周期的な特徴類似性は、特徴の周波数が異なる場合でも、わずかな時間シフトや逆転したインデックスを持つサンプルに対して高い類似性を維持し、特徴の周波数が変化するときの連続的な類似性の変化を捉えることに重点を置いています。これは、2つのフーリエ変換間の距離など、周波数領域での類似性尺度によって実現されます。

さらに、フレームワークの性能を向上させるために、研究者は一般化された対比損失を設計し、クラシックなInfoNCE損失をソフト回帰バリアントに拡張しました。これにより、連続的なラベル（周波数）に対する対比が可能になり、SimPerは心拍などの連続信号を回復するという回帰タスクに適しています。

SimPerの評価では、人間の行動分析、環境遠隔センシング、および医療のさまざまな現実世界のタスクをカバーする6つの異なる周期学習データセットにおいて、SimCLR、MoCo v2、BYOL、CVRLなどの最新のSSL手法と比較して優れた性能を発揮しました。SimPerは既存の手法を上回り、驚異的なデータ効率性、偽の相関への堅牢性、および未知のターゲットへの汎用性を示しました。

周期信号の強力な特徴表現を効率的かつ柔軟に学習するSimPerは、環境遠隔センシングから医療まで、さまざまな分野で有望な応用が期待されます。ラベル付きデータを大量に必要とせずに周期的なパターンを正確に捉える能力は、さまざまなドメインでの複雑な課題に対処するための魅力的な解決策となります。

結論として、SimPerの自己教師対比フレームワークは、周期学習の重要な課題に対する画期的な解決策を提供しています。SimPerは、時間的な自己教師対比学習を活用し、革新的な周期特徴類似性および一般化された対比損失を導入することにより、現実世界での効率的で正確かつ堅牢な周期学習アプリケーションの道を開拓しています。SimPerのコードリポジトリが研究コミュニティに提供されるにつれて、さらなる進展とさまざまなドメインでの応用範囲の拡大が期待されます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!