「あなたのLLMアプリを守る必読です!」

Essential reading to protect your LLM app!

LLMの展開における潜在的なセキュリティリスクについての教育を目指して

OWASP Top 10 for Large Language Model Applicationsプロジェクトは、開発者、デザイナー、アーキテクト、マネージャー、組織に、大規模言語モデル(LLM)を展開・管理する際の潜在的なセキュリティリスクについて教育することを目指しています。このプロジェクトでは、LLMアプリケーションでよく見られる上位10の重要な脆弱性をリストアップし、それらの潜在的な影響、悪用の容易さ、および実世界のアプリケーションでの普及を強調しています。

GuerrillaBuzzによる写真

LLMの展開時に考慮すべき以下の10の重要なセキュリティリスク:

プロンプトインジェクション

攻撃者は、クラフトされた入力を通じてLLMを操作し、攻撃者の意図を実行させることができます。これは、直接的にシステムのプロンプトを攻撃的に操作することや、間接的に外部の入力を操作することによって行われる可能性があり、データの漏洩、ソーシャルエンジニアリング、その他の問題を引き起こす可能性があります。

* ダイレクトプロンプトインジェクションはシステムのプロンプトを上書きする* インダイレクトプロンプトインジェクションは会話のコンテキストを乗っ取る* ユーザーがインダイレクトプロンプトインジェクションを含むウェブページを要約するためにLLMを使用する。

予防

* LLMがバックエンドシステムへのアクセスに特権制御を強制する* 拡張機能のための人間をループに組み込む* 外部コンテンツをユーザープロンプトから分離する* LLM、外部ソース、および拡張機能の間に信頼境界を確立する。

攻撃シナリオ

* 攻撃者がLLMベースのサポートチャットボットに直接的なプロンプトインジェクションを提供する* 攻撃者がウェブページに間接的なプロンプトインジェクションを埋め込む* ユーザーがインダイレクトプロンプトインジェクションを含むウェブページを要約するためにLLMを使用する。

セキュリティの甘い出力処理

セキュリティの甘い出力処理は、ダウンストリームのコンポーネントが適切な検査なしに大規模言語モデル(LLM)の出力を盲目的に受け入れる場合に発生する脆弱性です。これはXSSや…につながる可能性があります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

ジョナサン・ダムブロット、Cranium AIのCEO兼共同創設者- インタビューシリーズ

ジョナサン・ダムブロットは、Cranium AIのCEO兼共同創業者ですCranium AIは、サイバーセキュリティおよびデータサイエンスチ...

人工知能

ムーバブルインクのCEO兼共同創設者であるヴィヴェク・シャルマ氏についてのインタビュー・シリーズ

ビヴェクは2010年にムーバブルインクを共同設立し、急速な成長を遂げながら、600人以上の従業員を擁し、世界有数の革新的なブ...

AIニュース

OpenAIのCEOであるSam Altman氏:AIの力が証明されるにつれて、仕事に関するリスクが生じる

OpenAIのCEOであるSam Altmanは、特に彼の作品であるChatGPTに関するAIの潜在的な危険性について公言してきました。最近のイ...

人工知能

「Ntropyの共同創設者兼CEO、ナレ・ヴァルダニアンについて - インタビューシリーズ」

「Ntropyの共同創設者兼CEOであるナレ・ヴァルダニアンは、超人的な精度で100ミリ秒以下で金融取引を解析することを可能にす...

人工知能

「Kognitosの創設者兼CEO、ビニー・ギル- インタビューシリーズ」

ビニー・ギルは、複数の役職と企業を横断する多様で幅広い業務経験を持っていますビニーは現在、Kognitosの創設者兼CEOであり...

人工知能

「Ami Hever、UVeyeの共同創設者兼CEO - インタビューシリーズ」

עמיר חבר הוא המנכל והמייסד של UVeye, סטארט-אפ ראיה ממוחשבת בלמידה עמוקה, המציבה את התקן הגלובלי לבדיקת רכבים עם זיהוי...