中国のこのAI論文は、HQTrackというビデオ内のあらゆるものを高品質で追跡するためのAIフレームワークを提案しています

This Chinese AI paper proposes an AI framework called HQTrack for high-quality tracking of everything in videos.

ビジュアルオブジェクトトラッキングは、ロボットビジョンや自動運転など、コンピュータビジョン内の多くのサブフィールドの基盤です。この仕事は、ビデオシーケンス内のターゲットオブジェクトを信頼性を持って特定することを目指しています。最先端のアルゴリズムがビジュアルオブジェクトトラッキング(VOT)のチャレンジで競い合っており、トラッキングフィールドで最も重要な競技の1つです。

ビジュアルオブジェクトトラッキングおよびセグメンテーション競技(VOTS2023)は、従来のVOTチャレンジで課せられた制約の一部を取り除き、参加者がオブジェクトトラッキングについてより広く考えることができるようにしています。その結果、VOTS2023では、単一のターゲットの短期および長期のモニタリング、および多数のターゲットの追跡を、位置指定としてターゲットセグメンテーションのみを使用して組み合わせています。これには、正確なマスクの推定、複数のターゲットの軌跡追跡、およびオブジェクト間の関係の認識など、新たな困難が生じます。

中国の大連理工大学とアリババグループのDAMOアカデミーによる新しい研究では、HQTrackと呼ばれるシステムが紹介されています。HQTrackは、High-Quality Trackingの略です。このシステムは、主にビデオマルチオブジェクトセグメンターやマスクリファイナーなどで構成されています。複雑な設定で微小なオブジェクトを認識するために、研究者はDeAOTの改良版であるVMOSを使用し、1/8スケールでゲート付き伝搬モジュール(GPM)を連鎖させます。さらに、異なるタイプのオブジェクトを区別する能力を向上させるために、フィーチャーエクストラクタとしてIntern-Tを使用しています。VMOSでは、研究者は長期記憶に最近使用されたフレームのみを保持し、古いフレームは破棄してスペースを作ります。ただし、トラッキングマスクを改善するために大規模なセグメンテーションモデルを適用することは有用です。複雑な構造を持つオブジェクトは、特にSAMにとって予測が難しく、VOTSチャレンジでは頻繁に現れます。

事前にトレーニングされたHQ-SAMモデルを使用することで、チームはトラッキングマスクの品質をさらに向上させることができます。最終的なトラッキング結果は、VMOSとMRから選ばれ、予測されたマスクの外側の囲むボックスをボックスプロンプトとして使用して、オリジナルの画像とともにHQ-SAMに供給され、改善されたマスクを取得します。HQTrackは、テストセットで品質スコア0.615でVOTS2023競技会で2位になります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

RAGのNLPにおける検索と生成の統一的な革新的アプローチ

イントロダクション AIの急速に進化する領域に、ゲームチェンジングなイノベーションが登場し、機械が人間の言語と関わる方法...

AI研究

「DevOps 2023年の状況報告書:主要な調査結果と洞察」

年次調査の結果が発表されました画期的な発見がありますこのレポートは、AIとドキュメンテーションが生産性と仕事の満足度に...

AIニュース

Android 14:より多様なカスタマイズ、制御、アクセシビリティ機能

「Android 14は個人的で保護的な機能を備え、ユーザーを最優先し、彼らの個性を祝福するためのものです」

人工知能

簡単なアプリの統合に最適な安定した拡散APIのトップ5

イントロダクション APIは人工知能の時代における解決策であり、AIモデルをソフトウェアやアプリケーションに統合する際の高...

機械学習

ショッピファイの製品推奨アプリに生成AIを導入する

ショッピファイの製品推薦アプリケーションであるSearch and DiscoveryにジェネレーティブAIがどのように実装されたかについ...

データサイエンス

「すべてのオンライン投稿は、AIの所有物です」とGoogleが発表

Googleは最近のプライバシーポリシーの更新において、その強力なAIツールでよく知られていることから注目される注目すべき変...