MITの研究者が新しいAIツール「PhotoGuard」を導入し、不正な画像の操作を防止すると発表しました

MITの研究者が新しいAIツール「PhotoGuard」を導入し、不正な画像の操作を防止すると発表しました The researchers at MIT announced the introduction of a new AI tool, PhotoGuard, that prevents unauthorized manipulation of images.

AIパワードのテクノロジーが現実と製作物の境界をぼやかす画像を作り出す世界において、誤用のリスクが迫っています。DALL-EやMidjourneyなどの高度な生成モデルは、初心者でも簡単なテキストの説明から超リアルな画像を生成することができるようになり、その精度と使いやすさが評価されていますが、同時に無害な変更から悪意のある操作まで可能性を広げる可能性もあります。

MITのコンピューターサイエンスと人工知能研究所（CSAIL）の研究者たちが開発した画期的な技術である「PhotoGuard」にご紹介します。この方法は、人間の目には見えないほど微小なピクセル値の変化である摂動を利用していますが、コンピューターモデルには検出可能です。これらの摂動により、AIモデルの画像操作能力が妨げられ、潜在的な誤用に対する予防策となります。

MITのチームは、これらの摂動を生成するために2つの異なる「攻撃」方法を実装しました。最初の「エンコーダー」攻撃は、AIモデルの画像の潜在的な表現をターゲットにします。この数学的な表現にわずかな調整を加えることで、AIモデルは画像をランダムなエンティティとして認識し、操作が非常に困難になります。これらの微小な変化は人間の目には見えないため、画像の視覚的な完全性が保たれます。

• 「AIIMSデリーが医療のためのロボット技術、AI、およびドローンの研究を開始」
• 「MITのインドの学生が声を必要としない会話デバイスを開発」
• 「CMUの研究者たちは、シンプルで効果的な攻撃手法を提案しましたこれにより、言語モデルが高い成功率で問題のある行動を生成することが可能となります」

2つ目の方法である「拡散」攻撃は、より洗練された方法です。目標とする画像を定義し、摂動を最適化して最終的な画像を目標にできるだけ近づけます。元の画像の入力空間内で摂動を作成することにより、PhotoGuardは許可されていない操作に対して堅牢な防御を提供します。

PhotoGuardの動作をより具体的に説明するために、オリジナルの絵とターゲットの絵があるアートプロジェクトを想像してみてください。拡散攻撃は、オリジナルの絵に見えない変化を加え、AIモデルの認識とターゲットを一致させることを目指します。しかし、人間の目には、オリジナルの絵は変わっていません。AIモデルを使用してオリジナルの画像を変更しようとする試みは、ターゲットの画像を扱っているかのような変更が起こり、それによって許可されていない操作から保護されます。

PhotoGuardはAIパワードの画像操作に対する保護策として非常に有望ですが、万能な解決策ではありません。一度画像がオンライン上にあると、悪意のある個人はノイズを適用したり、画像を切り取ったり、回転させたりすることで保護対策を逆手に取ろうとするかもしれません。しかし、チームは堅牢な摂動はそのような回避策に抵抗できると強調しています。

研究者たちは、画像編集モデルの作成者、ソーシャルメディアプラットフォーム、政策立案者の協力的なアプローチの重要性を強調しています。ユーザーデータの保護を義務付ける規制の実施や、ユーザーの画像に自動的に摂動を追加するためのAPIの開発は、PhotoGuardの効果を高めることができます。

PhotoGuardはAIパワードの画像操作への懸念に対処するための先駆的な解決策です。我々がこの生成モデルの新たな時代に踏み出すにあたり、その潜在的な利益と誤用に対する保護のバランスは重要です。MITのチームは、この重要な取り組みへの貢献が始まりに過ぎず、AIの時代における現実の保護のためには、すべての関係者による協力が不可欠だと考えています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!