医学論文のLLaMAのFine-tuning：バイオメディカルQAベンチマークで高い性能を発揮するPMC-LLaMA-Aモデルに出会ってください

PMC-LLaMA-AモデルはバイオメディカルQAベンチマークで高性能を発揮するために、医学論文のLLaMAのFine-tuningを行っています

大規模言語モデル（LLM）の開発、例えばOpenAIのChatGPTやGPT-4などは、自然言語処理、コンピュータビジョン、バイオメディカル分野を含む多くの分野で人工知能を再構築しました。残念ながら、ChatGPTのトレーニングの具体的な内容やそのバリエーションモデルのアーキテクチャについてはまだ不明です。LLaMAはオープンソースの基礎言語モデルですが、モデルの事前学習段階でドメイン固有のデータが不足しているため、ドメイン知識を必要とするアプリケーションでのパフォーマンスが低いと考えられています。

多くの研究では、オープンソースのLLMを特定の目的に合わせて修正したり使用したりすることについて議論されています。たとえば、AlpacaやVicunaは、自動的に作成された命令の例を使用してモデルの相互作用の能力を拡張することに焦点を当てています。

上海交通大学と上海AI研究所による最近の研究では、単一の事前学習済みLLaMAにドメイン知識を注入し、基礎言語モデルを医学特化のコーパスに向ける方法を取っています。彼らはPMC-LLaMAという公開可能な言語モデルを開発しました。このモデルは、4.8百万の医学関連の学術論文を基にLLaMA-7Bを改良して開発されました。チームは、医学の議論や相談には医学に特化した基礎言語モデルの方がより有益だと考えています。

• 「ImageReward（イメージリワード）に会ってください：AIの生成能力と人間の価値観を結ぶ革命的なテキストから画像へのモデル」
• 大規模な言語モデルの理解：（チャット）GPTとBERTの物理学
• 「機械学習を学ぶにはどれくらいの時間がかかりますか？」

チームは、英語の81.1百万の学術論文を含むS2ORCデータセットから始め、それらをPubMed Central（PMC）IDに基づいて整理しました。したがって、医学の知識に関連する約4.9百万の論文、合計75兆トークンが得られました。彼らはGPT2で初めて提示された自己回帰生成目標を最適化し、これらの自由に利用可能なPMC論文でLLaMA-7Bモデルを微調整しました。彼らはbf16（Brain Floating Point）データ形式とFully Sharded Data Parallel（FSDP）アクセラレーションアプローチを使用して学習プロセスを高速化しました。

チームはPMC-LLaMAを、前述の関連する医療QAデータセットに対して3つの異なるタイプの微調整を行うことでテストしました：完全な微調整、パラメータ効率の良い微調整、データ効率の良い微調整。実験の結果、PMC-LLaMAは、指示を微調整した医療ドメインのLLaMAおよび他のモデルよりも優れたパフォーマンスを示しました。

PMC-LLaMAの短所は、現時点では4.8百万の論文の中ですべてのトークンを見つけることができないということです。将来的には、より多くのパラメータでPMC-LLaMAモデルを徐々にトレーニングし、PMC-LLaMAを継続的にトレーニングし、hugging faceページでベースモデルを更新する予定です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!