Orca LLM：ChatGPTの推論プロセスをシミュレートする

Orca LLM simulates ChatGPT's inference process.

はじめに

大規模言語モデル（LLM）の領域では、効率を損なうことなく小さなモデルの能力を向上させることが常に追求されてきました。従来のアプローチは、大規模な基盤モデル（LFM）が生成する出力から小さなモデルが学習する模倣学習を使用することでした。しかし、このアプローチは、浅いLFM出力からの限られた模倣信号、小規模均質的なトレーニングデータ、厳密な評価の不足など、いくつかの課題に直面してきました。これにより、小さなモデルがLFMのスタイルを模倣することはあっても、その推論プロセスを模倣することはなくなることがよくあります。

Orca: Progressive Learning from Complex Explanation Traces of GPT-4という論文は、GPT-4などの大規模基盤モデル（LFM）の推論プロセスを模倣するために設計された13兆パラメータモデルであるOrcaを紹介しています。従来の大規模言語モデル（LLMs）とは異なり、Orcaは、より小さな学生モデルと大きな相手方との間の容量ギャップを克服するために、進歩的学習と教師のアシスタントを組み合わせたユニークなトレーニングアプローチを採用しています。

トレーニング方法論

Orcaのトレーニングプロセスは2つの段階で構成されています。

• フロントエンド開発のトレンド
• クロードAIに無料でアクセスする3つの方法
• 2023年の最高のAI販売アシスタントツール

第1段階では、OrcaはChatGPTの拡張を含むFLAN-5Mでトレーニングされます。この中間教師アシスタントは、Orcaとパラメータサイズが大幅に大きいGPT-4との容量ギャップを埋めるのに役立ちます。ChatGPTの能力を活用することにより、Orcaは模倣学習のパフォーマンスを改善することができます。

第2段階では、OrcaはGPT-4の拡張を組み込んだFLAN-1Mでトレーニングを受けます。この進歩的学習のアプローチは、生徒モデルがより簡単な例から始めてより困難な例に取り組む前に学ぶカリキュラム学習のパラダイムに従います。Orcaを段階的により複雑な推論とステップバイステップの説明に曝露することにより、モデルは推論能力と模倣スキルを向上させます。

利点と貢献

Orcaのトレーニング方法論は、従来のLLMsに比べていくつかの利点を提供します。

まず第一に、より能力の高いソースから学ぶことにより、中間教師モデルを活用することで、容量ギャップの問題に対処します。このアプローチは、小さな生徒モデルの模倣学習のパフォーマンスを改善することが示されています。

第二に、Orcaの進歩的学習の側面により、モデルは知識を段階的に構築することができます。より簡単な例から始めて徐々により複雑なものに取り組むことにより、Orcaは推論と説明の生成のためのより強力な基盤を開発します。

さらに、OrcaがGPT-4のようなLFMsの推論プロセスを模倣できる能力は、さまざまなタスクでの性能向上の可能性を広げます。GPT-4の説明トレースとステップバイステップの思考プロセスが提供する豊富なシグナルを利用することにより、Orcaは貴重な洞察を得て、自身の能力を向上させることができます。

性能ベンチマーク

Orcaは、複雑なゼロショット推論ベンチマークで驚異的なパフォーマンスを発揮しています。Big-Bench Hard（BBH）などのベンチマークでVicuna-13Bなどの従来の最新の指示調整モデルを100％以上上回り、AGIEvalでも42％以上のパフォーマンスを発揮します。さらに、OrcaはBBHベンチマークでChatGPTと同じスコアを獲得し、SAT、LSAT、GRE、GMATなどの専門的および学術的な試験でも競争力のあるパフォーマンスを発揮します。これらはチェーンオブソートがないゼロショットの設定であり、OrcaはGPT-4に遅れをとりながらも競争力のあるパフォーマンスを発揮しています。

意義と将来の方向性

Orcaの開発は、LLMsの分野での重要な進歩を表しています。豊富なシグナルから学び、LFMsの推論プロセスを模倣することにより、Orcaは高い精度で複雑な推論タスクを実行することができます。これには、複雑な推論と問題解決が必要な領域において、広範な意義があります。

さらに、AIモデルのステップバイステップの説明から学ぶことがモデルの能力向上に向けた有望な方向性であることを示しています。これにより、LLMsの分野での研究開発の新しい展開が可能になります。

結論

Orcaは、進歩的学習と教師アシスタントを組み合わせて模倣学習を強化する新しい方法論を提案しています。中間教師モデルを活用し、生徒モデルをより複雑な例に段階的に曝露することにより、Orcaは容量ギャップを克服し、推論と説明生成の能力を向上させます。論文の結果は模倣学習技術の進歩に貢献し、将来の言語モデルの開発に影響を与えます。

Orcaとその研究についての詳細は、Microsoftからの紹介記事と付随する研究論文を参照してください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!