新たなディープ強化学習（DRL）フレームワークは、シミュレートされた環境で攻撃者に対応し、サイバー攻撃がエスカレートする前に95％をブロックすることができます

A new DRL framework can block 95% of cyber attacks before they escalate in a simulated environment.

サイバーセキュリティの防御者は、技術の発展とシステムの複雑さのレベルが上昇するにつれて、自分たちの技術と戦術を動的に適応させる必要があります。過去10年間にわたる機械学習（ML）および人工知能（AI）の研究の進歩とともに、これらの技術のサイバーセキュリティに関連するさまざまな領域での利用事例も進化してきました。既存の多くのセキュリティアプリケーションでは、頑強な機械学習アルゴリズムによって支えられたいくつかの機能が、大規模なデータセットでトレーニングされています。そのような例の1つが、MLアルゴリズムを電子メールセキュリティゲートウェイに統合した2010年代初頭です。

実世界のシナリオでは、自律型のサイバーシステム防御戦略と行動の推奨事項を作成することは非常に困難です。なぜなら、このようなサイバーシステムの防御メカニズムに対する意思決定支援には、攻撃者と防御者の間のダイナミクスの組み込みとシステム状態の不確実性の動的特性化が必要だからです。さらに、サイバー防御者は、コスト、労力、時間などのさまざまなリソース制約に直面することが多いです。AIを使用しても、積極的な防御が可能なシステムの開発は理想的な目標のままです。

この問題に対する解決策を提供するため、米国エネルギー省太平洋北西国立研究所（PNNL）の研究者たちは、シミュレートされた環境で攻撃者に対応し、サイバー攻撃の95％をエスカレートさせる前に停止できる新しいDRL（深層強化学習）に基づくAIシステムを開発しました。研究者たちは、ネットワーク内で攻撃者と防御者の間で行われるマルチステージのデジタル紛争を示すカスタムのシミュレーション環境を作成しました。そして、報酬を最大化することに基づいて妥協を回避し、ネットワークの混乱を減らすことを目指した強化学習の原則を使用して、4つのDRLニューラルネットワークをトレーニングしました。このチームの研究成果は、また、ワシントンDCで開催された人工知能の進歩協会で発表され、多くの称賛を受けました。

• 『AI論文によると、大規模な言語モデルの一般的なパターンマシンとしての異なるレベルの専門知識を説明します』
• 「AIのテスト：ChatGPTと他の大規模言語モデルの偽ニュース検出における詳細な評価」
• このAIニュースレターは、あなたが必要とするすべてです #56

このようなシステムを開発する際のチームの理念は、まずDRLアーキテクチャを成功裏にトレーニングできることを示すことでした。洗練された構造に取り組む前に、彼らは有用な評価メトリックを示したいと考えました。研究者たちが最初に行ったことは、Open AI Gymツールキットを使用して抽象的なシミュレーション環境を作成することでした。次に、この環境を使用して、MITRE ATT&CKフレームワークの15のアプローチと7つの戦術から選ばれたサブセットに基づいてスキルと持続性レベルを示す攻撃者エンティティを開発しました。攻撃者の目標は、初期アクセスと偵察フェーズから他の攻撃フェーズまでの7つの攻撃チェーンステップを進むことで、最終目標である影響と流出フェーズに到達することです。

重要なポイントとして、チームは環境内で攻撃を開始する敵をブロックするためのモデルを開発する意図はありませんでした。むしろ、システムが既に侵害されていると想定しています。その後、研究者たちは強化学習を使用して4つのニューラルネットワークをトレーニングしました。研究者たちは、強化学習を利用せずにこのようなモデルをトレーニングすることも可能ですが、良いメカニズムを開発するには長い時間がかかると述べています。一方、深層強化学習は、人間の行動の一部を模倣することで、この巨大な探索空間を非常に効率的に利用します。

研究者たちがシミュレートされた攻撃環境でAIシステムをトレーニングすることができることを実証するための努力により、AIモデルがリアルタイムで攻撃に対する防御反応が可能であることが示されました。研究者たちは、実際のマルチステージの攻撃シーケンスに対する4つのモデルフリーDRLアルゴリズムのパフォーマンスを厳密に評価するために、いくつかの実験を実施しました。彼らの研究は、異なるスキルと持続性レベルを持つマルチステージの攻撃プロファイルでDRLアルゴリズムをトレーニングできることを示し、シミュレートされた環境で効果的な防御結果を生み出すことを示しました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!