自動化された欺瞞検出：東京大学の研究者が機械学習を通じて表情と脈拍を利用して欺瞞を暴く

Automated deception detection Tokyo University researchers expose deception using machine learning, facial expressions, and heart rate.

デジタル時代において、自動化された欺瞞検知システムは、様々な分野で重要な存在となっています。正確な検知の需要は、商業、医学、教育、法執行機関、国家安全保障において明らかです。人間の面接官の制約により、誤った告発や効果のない検知のリスクが生じます。これらの課題に対処するため、東京理科大学の研究者たちは、包括的な欺瞞検知のために、表情と脈拍データを組み合わせた機械学習アプローチを提案しています。目標は、犯罪被害者、容疑者、精神的な問題を抱える人々との面接で役立つ公平で信頼性のあるシステムを開発することです。研究者たちは、正確な容疑者の分類の重要性を強調し、誤認識を避け、倫理的および法的な考慮事項を維持するために、ヒューマン・イン・ザ・ループのアプローチを提案しています。この革新的な方法は、倫理的な遵守を確保しながら、重要な意思決定プロセスに広範な応用を可能にします。

関連研究では、以前の研究でさまざまな方法を使用して欺瞞検知が探求されてきました。ある研究では、「欺瞞分析および推論エンジン」を開発し、動画からのマルチモーダル情報を用いて、AUCが約87%の精度で欺瞞を検知しました。別の研究では、真実と欺瞞の話者間のバレンスと興奮の違いを特定することに焦点を当て、感情的、視覚的、聴覚的、口頭的な特徴を用いて、AUCが91%を達成しました。AUCは、欺瞞検知などの二値分類タスクでよく使用される指標です。さらに、非言語行動（NVB）に基づいた欺瞞検知に機械学習アプローチが使用され、顔の微小運動、視線の変化、まばたきの頻度のような手がかりを特定することで、約80%の精度が達成されました。ただし、これらの研究の一部では、データ収集のための非自然な役割演技アプローチによる制約が観察されました。

従来の方法とは異なり、この革新的な研究では、被験者が自由に欺瞞的な行動を即興で行うことで、欺瞞検知の精度を向上させる自然なアプローチが導入されています。提案された方法では、機械学習、具体的にはランダムフォレスト（RF）技術を用いて、表情と脈拍データを統合した欺瞞検知モデルを作成します。データは、ランダムな画像について議論しながら欺瞞的な発言をする4人の男性大学院生から収集されました。表情はWebカメラを使用して記録され、面接中にはスマートウォッチを使用して脈拍が計測されました。

• MITの研究者が新しいAIツール「PhotoGuard」を導入し、不正な画像の操作を防止すると発表しました
• 「AIIMSデリーが医療のためのロボット技術、AI、およびドローンの研究を開始」
• 「MITのインドの学生が声を必要としない会話デバイスを開発」

このプロセスには、データ収集、ラベリング、特徴抽出、前処理、分類などの標準的な機械学習のステップが含まれます。被験者にはさまざまな画像が示され、欺瞞的な発言を含めて自分の思考を表現するよう促されました。その結果得られたデータセットは、被験者の意図に基づいてラベル付けされ、誤りや虚偽の記憶ではなく、意図的な欺瞞に焦点を当てています。記録されたビデオからの顔のランドマークはOpenFaceライブラリを使用して抽出され、眉の傾斜、目のアスペクト比、口のエリア、まばたきの頻度、視線、頭の傾き、脈拍など、さまざまな顔の特徴がこれらのランドマークから導かれました。前処理には、欠損値の削除、外れ値のフィルタリング、ポジティブケースとネガティブケースのバランスを取るためのアンダーサンプリングが含まれました。

ランダムフォレスト（RF）は、10分割交差検証を使用してトレーニングおよび評価され、精度、適合率、再現率、F1スコアなどのパフォーマンスメトリクスを使用してその効果を評価しました。実際の遠隔面接で実施された実験は、交差検証結果と類似のパフォーマンスを示し、この方法の現実世界での適用可能性を確認しました。特徴の重要度の分析では、特定の顔の特徴、脈拍、視線と頭の動きが異なる被験者間での欺瞞の重要な指標として浮き彫りにされました。例えば、口のエリアの変化、沈黙、まばたきは一部の場合に欺瞞的な行動を示し、他の場合では脈拍や視線の方向に顕著な変動が見られました。

全体として、この研究は、機械学習と顔の特徴解析を用いた遠隔面接における欺瞞的な発言の検知に対する実用的かつ有望なアプローチを提供し、現実世界での応用に貴重な示唆を提供しています。人間の偏見を排除した提案手法は、異なる被験者に対して0.75から0.88までの精度とF1スコアを示しました。顔の表情と脈拍に関連する共通の特徴が被験者間で観察されました。ただし、より包括的な分析のためには、多クラス分類の処理や心理的評価を含めたさらなる研究が必要です。データセットのサイズには制約があるものの、この研究は、倫理的な考慮事項と法的な遵守を重視しながら、自動化された欺瞞検知システムを利用する面接官にとって基盤となるものです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!