スタビリティAIチームが、新しいオープンアクセスの大規模言語モデル（LLM）であるFreeWilly1とFreeWilly2を紹介します

The Stability AI team introduces FreeWilly1 and FreeWilly2, new open-access large language models (LLMs).

FreeWilly1とその後継であるFreeWilly2は、Stability AIのCarperAIチームによって開発された強力な新しいオープンソースの大規模言語モデル（LLM）です。両モデルは、多くの異なるメトリックを使用して、推論コンテストで非常に優れたパフォーマンスを発揮します。業界標準のAlpaca形式の教師ありファインチューニング（SFT）を使用して、FreeWilly1モデルをファインチューニングしました。このモデルは、元のLLaMA 65Bファウンデーションモデルの上に構築されています。FreeWilly2は、LLaMA 2 70Bベースモデルを使用して、一部のタスクでGPT-3.5と同等のパフォーマンスを実現しています。

FreeWillyモデルのトレーニングは、Microsoftの画期的なアプローチに大きく影響を受けており、記事「Orca：GPT-4の複雑な説明トレースからの進行的学習」で説明されています。チームは、高品質なインストラクションで言語モデルにプロンプトを与え、データセットのコピーを生成しました。このデータセットには、オリジナルのOrcaの作業で使用されたデータセットサイズの約10％に相当する60万件のデータポイントが含まれています。

この方法を使用して、研究者は、より複雑なLLMモデルを使用して追加の10万件、より単純なLLMモデルを使用して50万件を生成しました。彼らはこれらのデータセットを徹底的にスクリーニングし、評価ベンチマークからのケースを削除して、有効な比較を保証しました。彼らの合成生成データセットへのアプローチは、オリジナルのOrcaの論文で使用されたサンプルサイズの10分の1しかトレーニングしていないにもかかわらず、FreeWillyモデルが複数のベンチマークで非常に優れたパフォーマンスを発揮していることで検証されています。

• 「ラマ-2、GPT-4、またはクロード-2；どの人工知能言語モデルが最も優れているのか？」
• 「ミット、ハーバード、ノースイースタン大学による『山に針を見つける』イニシアチブは、Sparse Probingを用いてニューロンを見つける」
• 「Prompt Diffusionを紹介する：拡散ベースの生成モデルにおけるコンテキスト内学習を可能にするAIフレームワーク」

研究者は、これらのモデルの評価を行うためにEleutherAIのlm-eval-harnessにAGIEvalを追加しました。その結果、両FreeWillyモデルは、法律や数学などの専門分野の難しい問題の解決、複雑な推論の実行、言語のニュアンスの認識において優れたパフォーマンスを発揮することが示されています。

チームは、これらのモデルが話された言語を理解する能力を向上させ、以前は不可能だった可能性を開拓すると信じています。彼らはこれらのモデルの革新的な使用法を人工知能で見ることを望んでいます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!