「あなたのLLMアプリを守る必読です！」

Essential reading to protect your LLM app!

LLMの展開における潜在的なセキュリティリスクについての教育を目指して

OWASP Top 10 for Large Language Model Applicationsプロジェクトは、開発者、デザイナー、アーキテクト、マネージャー、組織に、大規模言語モデル（LLM）を展開・管理する際の潜在的なセキュリティリスクについて教育することを目指しています。このプロジェクトでは、LLMアプリケーションでよく見られる上位10の重要な脆弱性をリストアップし、それらの潜在的な影響、悪用の容易さ、および実世界のアプリケーションでの普及を強調しています。

LLMの展開時に考慮すべき以下の10の重要なセキュリティリスク：

プロンプトインジェクション

攻撃者は、クラフトされた入力を通じてLLMを操作し、攻撃者の意図を実行させることができます。これは、直接的にシステムのプロンプトを攻撃的に操作することや、間接的に外部の入力を操作することによって行われる可能性があり、データの漏洩、ソーシャルエンジニアリング、その他の問題を引き起こす可能性があります。

例

* ダイレクトプロンプトインジェクションはシステムのプロンプトを上書きする* インダイレクトプロンプトインジェクションは会話のコンテキストを乗っ取る* ユーザーがインダイレクトプロンプトインジェクションを含むウェブページを要約するためにLLMを使用する。

• ファイル管理の効率化：サーバーまたはサーバー上で実行されているDockerコンテナーにおけるファイルの接続と変更をSFTPを使用してSublime Textで行うためのガイド
• lazy_staticを使用してランタイムでRustの定数を初期化する
• 「NVIDIAのCEO、ジェンソン・ホアン氏がSIGGRAPHに戻る」

予防

* LLMがバックエンドシステムへのアクセスに特権制御を強制する* 拡張機能のための人間をループに組み込む* 外部コンテンツをユーザープロンプトから分離する* LLM、外部ソース、および拡張機能の間に信頼境界を確立する。

攻撃シナリオ

* 攻撃者がLLMベースのサポートチャットボットに直接的なプロンプトインジェクションを提供する* 攻撃者がウェブページに間接的なプロンプトインジェクションを埋め込む* ユーザーがインダイレクトプロンプトインジェクションを含むウェブページを要約するためにLLMを使用する。

セキュリティの甘い出力処理

セキュリティの甘い出力処理は、ダウンストリームのコンポーネントが適切な検査なしに大規模言語モデル（LLM）の出力を盲目的に受け入れる場合に発生する脆弱性です。これはXSSや…につながる可能性があります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!