MLCommonsは、臨床効果を提供するためのAIモデルのベンチマークを行うためのオープンソースプラットフォームであるMedPerfを紹介します

MLCommonsは、AIモデルのベンチマークを行うためのMedPerfというオープンソースプラットフォームを紹介します

AIモデルの有効性を大規模かつ多様な実世界データセットで評価することは、医療AIの臨床翻訳において重要です。MLCommonsというオープンな国際エンジニアリングコミュニティが発表したオープンベンチマーキングプラットフォーム「MedPerf」は、患者のプライバシーを保護し、法的および規制上の懸念を最小限に抑えながら、幅広い実世界医療データでAIモデルを効果的に評価し、臨床的な有効性を提供するために開発されました。

医療AIモデルは、可能な臨床設定の小さなサブセットのデータで訓練された場合、特定の患者集団に対して意図しないバイアスを持つことがあります。一般化能力の欠如により、医療AIは実世界での効果が低いかもしれません。しかし、プライバシー、法的、規制上の考慮事項により、データ所有者はより大規模かつ多様なデータセットへのモデル訓練のアクセスをためらっています。MedPerfは、世界中のデータをAI研究者に便利かつ安全にアクセス可能にすることで、バイアスを排除し、一般化能力と臨床的な影響力を向上させることで、医療AIを強化します。

患者データへのアクセスがない状況下で、MedPerfは医療機関が簡素化された人間監視方式でAIモデルを評価および検証できるようにします。医療AIモデルは、データ供給業者によってリモートでインストールおよびレビューされ、プラットフォームの分散評価によって可能になります。患者情報のプライバシーに関する懸念が軽減され、信頼が強化され、これらすべてが医療関係者間のより良い連携に貢献します。

• 医学論文のLLaMAのFine-tuning：バイオメディカルQAベンチマークで高い性能を発揮するPMC-LLaMA-Aモデルに出会ってください
• 「ImageReward（イメージリワード）に会ってください：AIの生成能力と人間の価値観を結ぶ革命的なテキストから画像へのモデル」
• 大規模な言語モデルの理解：（チャット）GPTとBERTの物理学

MedPerfは、同じ共同作業者とともに数多くのAIモデルの評価を時間ではなく数か月で行うことができます。この効果は、最大の連邦実験である脳腫瘍分割（FeTS）チャレンジで示されました。FeTSチャレンジでは、6つの大陸の32のサイトで41の異なるモデルをMedPerfで評価しました。

さらに、学術的な医療研究を反映した一連のパイロット試験によって、MedPerfの有効性が確認されました。これらの試験では、脳腫瘍、膵臓、手術ワークフローの段階などがカバーされました。その結果は、連邦評価ベンチマークが誰もが利用可能なAIを活用した医療ケアに向けた進展に役立つことを確認しています。

MedPerfは、利用性、適応性、パフォーマンスの観点で、fast.aiや他の広く利用されているMLライブラリの普及を促進するために、推奨しています。Microsoft Azure OpenAI Services、Epic Cognitive Computing、HF推論ポイントなどがサポートされるAPI専用およびプライベートAIモデルの一部です。

MedPerfは元々放射線学のために設計されましたが、バイオ医学の任意の分野に適用できる汎用プラットフォームです。MedPerfは、MLパイプラインの構築を簡素化するGaNDLFという姉妹プロジェクトにより、デジタル病理学やオミクスなど、さまざまな活動をサポートできます。データエンジニアリングのギャップを埋め、開発者に最先端の事前学習済みCVおよびNLPモデルへのアクセスを提供するために、MedPerfはPathMLやSlideFlow、Spark NLP、MONAIなどの特殊なローコードライブラリの例を作成しています。

チームは、自分たちの作業が医療AIへの信頼を高め、臨床設定でのMLの普及を加速し、最終的には医療AIが各患者に合わせたケアを提供し、医療費を削減し、医師と患者の生活の質を向上させることを願っています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!