DPT（Depth Prediction Transformers）を使用した画像の深度推定

DPTを使用した画像の深度推定

イントロダクション

画像の深度推定は、画像内のオブジェクトがどれだけ遠いかを把握することです。これは、3Dモデルの作成、拡張現実、自動運転などのコンピュータビジョンの重要な問題です。過去には、ステレオビジョンや特殊センサなどの技術を使用して深度を推定していました。しかし、今では、ディープラーニングを利用するDepth Prediction Transformers（DPT）と呼ばれる新しい方法があります。

DPTは、画像を見ることで深度を推定することができるモデルの一種です。この記事では、実際のコーディングを通じてDPTの動作原理、その有用性、およびさまざまなアプリケーションでの利用方法について詳しく学びます。

学習目標

• 密な予測トランスフォーマ（DPT）の概念と画像の深度推定における役割。
• ビジョントランスフォーマとエンコーダーデコーダーフレームワークの組み合わせを含むDPTのアーキテクチャの探索。
• Hugging Faceトランスフォーマライブラリを使用したDPTタスクの実装。
• さまざまな領域でのDPTの潜在的な応用の認識。

この記事はData Science Blogathonの一部として公開されました。

深度推定トランスフォーマの理解

深度推定トランスフォーマ（DPT）は、画像内のオブジェクトの深度を推定するために特別に設計されたディープラーニングモデルの一種です。DPTは、元々言語データの処理に開発されたトランスフォーマと呼ばれる特殊なアーキテクチャを利用して、ビジュアルデータを処理するために適応し適用します。DPTの主な強みの1つは、画像のさまざまな部分間の複雑な関係をキャプチャし、長距離にわたる依存関係をモデル化する能力です。これにより、DPTは画像内のオブジェクトの深度や距離を正確に予測することができます。

• 仕事を加速するAIツール16選
• 「2023年の競争分析のためのトップツール」
• ChatGPT モデレーション API 入力/出力制御

深度推定トランスフォーマのアーキテクチャ

深度推定トランスフォーマ（DPT）は、ビジョントランスフォーマをエンコーダーデコーダーフレームワークと組み合わせて画像の深度を推定します。エンコーダーコンポーネントは、セルフアテンションメカニズムを使用して特徴をキャプチャしてエンコードし、画像のさまざまな部分間の関係を理解する能力を向上させます。これにより、細かい詳細を捉えることができます。デコーダーコンポーネントは、エンコードされた特徴を元の画像空間にマッピングすることで密な深度予測を再構築し、アップサンプリングや畳み込み層のような手法を利用します。DPTのアーキテクチャにより、モデルはシーンのグローバルなコンテキストを考慮し、異なる画像領域間の依存関係をモデル化することができます。これにより、正確な深度予測が可能になります。

要約すると、DPTはビジョントランスフォーマとエンコーダーデコーダーフレームワークを組み合わせて画像の深度を推定します。エンコーダーは特徴をキャプチャし、セルフアテンションメカニズムを使用してそれらをエンコードし、デコーダーは密な深度予測を再構築します。このアーキテクチャにより、DPTは細かい詳細を捉え、グローバルなコンテキストを考慮し、正確な深度予測を生成することができます。

Hugging Face Transformerを使用したDPTの実装

Hugging Faceパイプラインを使用してDPTの実践的な実装を見ていきます。コードの全体はこちらでご覧いただけます。

ステップ1：依存関係のインストール

次のコマンドを使用して、GitHubリポジトリからtransformersパッケージをインストールします：

!pip install -q git+https://github.com/huggingface/transformers.git  # Hugging FaceのGitHubリポジトリからtransformersパッケージをインストール

Jupyter NotebookまたはJupyterLabセルで!pip installコマンドを実行して、ノートブック環境内で直接パッケージをインストールします。

ステップ2：深度推定モデルの定義

提供されたコードでは、Hugging Face TransformersライブラリのDPTアーキテクチャを使用して深度推定モデルを定義しています。

from transformers import DPTFeatureExtractor, DPTForDepthEstimation

# DPTの特徴抽出器を作成
feature_extractor = DPTFeatureExtractor.from_pretrained("Intel/dpt-large")

# DPTの深度推定モデルを作成
model = DPTForDepthEstimation.from_pretrained("Intel/dpt-large")

コードは、Transformersライブラリの必要なクラスであるDPTFeatureExtractorとDPTForDepthEstimationをインポートします。次に、DPTFeatureExtractor.from_pretrained()を呼び出して事前学習済みモデル”Intel/dpt-large”の重みを読み込んでDPT特徴抽出器のインスタンスを作成します。同様に、DPTForDepthEstimation.from_pretrained()を使用して同じ”Intel/dpt-large”モデルの事前学習済み重みを読み込んでDPT深度推定モデルのインスタンスを作成します。

ステップ3：画像の読み込み

次に、画像を読み込んで処理の準備をする手段を提供します。

from PIL import Image
import requests

# ダウンロードする画像のURLを指定します
url = 'https://img.freepik.com/free-photo/full-length-shot-pretty-healthy-young-lady-walking-morning-park-with-dog_171337-18880.jpg?w=360&t=st=1689213531~exp=1689214131~hmac=67dea8e3a9c9f847575bb27e690c36c3fec45b056e90a04b68a00d5b4ba8990e'

# PILを使用して画像をダウンロードして開きます
image = Image.open(requests.get(url, stream=True).raw)

画像処理とHTTPリクエストを処理するために必要なモジュール（PILからImage、requests）をインポートします。ダウンロードする画像のURLを指定し、requests.get()を使用して画像データを取得します。Image.open()は、ダウンロードした画像データをPILのImageオブジェクトとして開きます。

ステップ4：フォワードパス

import torch

# 勾配計算を無効にするためにtorch.no_grad()を使用します
with torch.no_grad():
    # ピクセル値をモデルに渡します
    outputs = model(pixel_values)
    # 出力から予測された深度値にアクセスします
    predicted_depth = outputs.predicted_depth    

上記のコードは、モデルのフォワードパスを実行し、入力画像の予測深度値を取得します。推論中のメモリ使用量を削減するために、勾配計算を無効にするためにtorch.no_grad()をコンテキストマネージャとして使用します。モデルにピクセル値のテンソルpixel_valuesをmodel(pixel_values)で渡し、結果の出力をoutputs変数に格納します。次に、outputs.predicted_depthから予測された深度値にアクセスし、predicted_depth変数に割り当てます。

ステップ5：補間と可視化

予測された深度値を元の画像サイズに補間し、出力を画像に変換します。

import numpy as np

# 予測された深度値を元のサイズに補間します
prediction = torch.nn.functional.interpolate(
    predicted_depth.unsqueeze(1),
    size=image.size[::-1],
    mode="bicubic",
    align_corners=False,
).squeeze()

# 補間された深度値をnumpy配列に変換します
output = prediction.cpu().numpy()

# 可視化のために深度値をスケーリングしてフォーマットします
formatted = (output * 255 / np.max(output)).astype('uint8')

# フォーマットされた深度値から画像を作成します
depth = Image.fromarray(formatted)
depth

torch.nn.functional.interpolate()を使用して、予測された深度値を入力画像の元のサイズに補間します。補間された深度値は.cpu().numpy()を使用してnumpy配列に変換されます。次に、可視化のために深度値を範囲[0, 255]にスケーリングしてフォーマットします。最後に、フォーマットされた深度値からImage.fromarray()を使用して画像を作成します。

このコードを実行すると、`depth`変数には深度画像が含まれ、画像の深度として表示されます。

利点とメリット

Depth Prediction Transformersは、画像の深度推定において従来の方法に比べていくつかの利点とメリットを提供します。Depth Prediction Transformers（DPT）について理解するためのいくつかの重要なポイントを以下に示します：

• 細部への注意： DPTは、エンコーダと呼ばれる特別な部分を使用して非常に小さな細部をキャプチャし、予測をより正確にします。
• 全体像の理解： DPTは、画像の異なる部分がどのようにつながっているかを把握するのが得意です。これにより、全体のシーンを理解し、深度を正確に推定することができます。
• さまざまな応用分野： DPTは、3Dモデルの作成、拡張現実に実世界に物事を追加する、ロボットが周囲の環境を理解するのを支援するなど、さまざまなことに使用することができます。

• 統合の容易さ： DPTをコンピュータビジョンの他のツールと組み合わせることで、オブジェクトのピックアウトや画像の異なる部分への分割など、深度推定をより良く、より正確に行うことができます。

潜在的な応用

Depth Prediction Transformersを使用した画像の深度推定は、さまざまな分野で多くの有用な応用があります。以下にいくつかの例を示します：

• 自律ナビゲーション： 深度推定は、自動運転車が周囲を理解し、安全に道路を走行するために重要です。
• 拡張現実： 深度推定は、拡張現実アプリで仮想オブジェクトを現実世界に重ねるのに役立ち、それらをリアルに見せ、環境と正しく対話させることができます。
• 3Dリコンストラクション： 深度推定は、通常の2D画像からオブジェクトやシーンの3Dモデルを作成するために不可欠であり、それらを3次元空間で視覚化することができます。
• ロボティクス： 深度推定は、ロボットがオブジェクトをつかんだり、障害物を回避したり、環境のレイアウトを理解したりするために貴重な役割を果たします。

結論

Depth Prediction Transformersを使用した画像の深度推定は、2D画像から深度を正確に推定するための強力で精密な手法を提供します。トランスフォーマーアーキテクチャとエンコーダーデコーダーフレームワークを使用することで、DPTは複雑な詳細を効果的に捉え、画像の異なる部分間の関連性を理解し、正確な深度推定を生成することができます。この技術は自律ナビゲーション、拡張現実、3Dリコンストラクション、ロボティクスなどのさまざまな分野に応用する可能性があり、これらの分野の進歩に向けた興味深い可能性を提供します。コンピュータビジョンが進歩するにつれて、Depth Prediction Transformersは正確かつ信頼性の高い深度推定を実現するために重要な役割を果たし、さまざまな応用の改善と突破口につながるでしょう。

要点

• Depth Prediction Transformers（DPT）を使用した画像の深度推定は、2D画像から深度を予測するための強力で正確な手法です。
• DPTは、トランスフォーマーアーキテクチャとエンコーダーデコーダーフレームワークを活用して、細かい詳細を捉え、長距離の依存関係をモデル化し、正確な深度推定を生成します。
• DPTは、自律ナビゲーション、拡張現実、3Dリコンストラクション、ロボティクスなどの応用に潜在的な可能性を持ち、さまざまな領域で新たな可能性を開拓します。
• コンピュータビジョンの進歩に伴い、Depth Prediction Transformersは正確かつ信頼性の高い深度推定を実現するために重要な役割を果たし、さまざまな応用の進歩に貢献します。

よくある質問

参考リンク

• コード： https://github.com/inuwamobarak/depth-estimation-DPT
• https://www.v7labs.com/blog/vision-transformer-guide
• https://viso.ai/deep-learning/vision-transformer-vit/
• https://paperswithcode.com/method/dense-prediction-transformer
• https://huggingface.co/docs/transformers/main/en/model_doc/dpt

この記事に掲載されているメディアはAnalytics Vidhyaの所有ではなく、著者の裁量によって使用されています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!