OpenAIがBaby Llamaを発表 – 低電力デバイス向けのLLM！

OpenAI announces Baby Llama - LLM for low-power devices!

人工知能の世界からの最新ニュース！ OpenAIの有名な深層学習の専門家、Andrej Karpathy氏が、リソース制約のあるデバイス上で複雑なモデルを実行する方法を革新する可能性のあるエキサイティングな週末プロジェクトに取り組んでいます。彼の「Baby Llama」という作品は、Llama 2モデルの簡略化バージョンであり、純粋なCコードの力とその小さなマシンで高度にインタラクティブなレートを実現する可能性を示しています。この画期的な開発について詳しく見ていきましょう！

また読む：OpenAI、AIモデルの公開を通じてオープンソース競争に参加

インタラクティブレートを目指して – ベビーラマの誕生

深層学習の分野でのパイオニアであるAndrej Karpathy氏は、新しい可能性を探求する好奇心に駆られ、オープンソースのLlama 2のポテンシャルを解き放つための使命に取り組みました。週末にGPT-5を構築する能力を持っていたにもかかわらず、Karpathy氏はAIの限界を押し広げる情熱を示すためにLlama 2の実験に時間を費やしました。

また読む：MetaのLlama 2：商業利用のためのオープンソース化

• ジョージア工科大学のこのAI論文は、より速く信頼性の高い方法で潜在的な超伝導体の新しい候補を特定するための人工知能手法を提案しています
• 「ChatGPTなどの大規模言語モデル(LLM)がファインチューニングにおいて教師あり学習ではなく強化学習を使用する理由」の5つの理由
• 「はい！OpenTelemetryはシステムのセキュリティを確保するための重要な要素です」

GPT-2からLlama 2への変換：週末の実験

GithubのリポジトリであるLlama2.cで、Karpathy氏は彼の創造的なプロセスについての洞察を共有しました。彼はnanoGPTフレームワークを使用し、Cプログラミング言語で書かれたLlama 2アーキテクチャに巧みに変換しました。その結果、彼のリポジトリは短期間で2.2K以上のスターを集めることができました。

リソース制約モデルでのインタラクティブレート

Karpathy氏の実験の中で最も驚くべき成果の一つは、比較的小さいモデルで非常にインタラクティブなレートを実現できたことです。数百万のパラメータを含むモデルを使用しており、1500万のパラメータでトレーニングされたTinyStoriesデータセットを使用していますが、Karpathy氏のアプローチは驚くほど成功しました。

また読む：30BのパラメータでGPT-3を凌駕する新しいAIモデル

低電力デバイスでの驚異的な速度

Karpathy氏は自身のM1 MacBook Airで見事な結果を達成しました。Llama 2モデルは約1500万のパラメータを持ち、fp32（単精度浮動小数点）計算で約100トークン/秒という驚異的な推論速度を示しました。この驚くべき結果は、リソース制約のあるデバイスで洗練されたモデルを簡単に実行できる可能性を示しています。

また読む：GPT-3から将来の言語モデルへ

限界を押し広げる – より大きく、より良い

初期の成功に励まされたKarpathy氏は、限界を押し広げ続けました。彼はリポジトリを積極的に更新し、3倍の大きさの4400万パラメータモデルをテストすることにも取り組みました。驚くべきことに、彼はわずか約8時間で32のバッチサイズで4つのA100 GPU上で200kのイテレーションをトレーニングすることができました。

また読む：DeepMindのAIマスターゲーマー：2時間で26ゲームを学習

LLaMA.cppとPyTorchの接続からのインスピレーション

Karpathy氏は、彼のプロジェクトがGeorgi Gerganov氏の「llama.cpp」に強く影響を受けたことを認めています。それはCとC ++を使用してMacBookでLLaMAを使用することを目指したプロジェクトです。Karpathy氏のアプローチは、PyTorchを使用してLlama 2 LLMアーキテクチャをゼロからトレーニングすることから始まりました。それから彼は500行のCファイル「run.c」を使用して、外部ライブラリを必要とせずに最小限のメモリ使用量で推論を行いました。

パフォーマンス向上のための微調整

Cコードをさらに最適化するため、Karpathy氏はさまざまなテクニックを試しました。これには、-O3、-Ofast、-march=nativeなどの異なるコンパイルフラグを使用することが含まれます。これらのフラグは、ベクトル化、ループアンローリング、その他のハードウェア固有のチューニングを可能にし、特定のシステムでさらに高速な推論を実現しました。

まだ展開には向いていない – しかし未来の一端

Karpathy氏の週末の実験は画期的な成功となりましたが、Baby Llamaは本格的なデプロイメントを意図したものではないことを明確にしています。主な目的は、低電力デバイス上でLlama 2モデルを実行する可能性を示すことでした。この実験は、機械学習にはGPUが必要とされるという一般的な信念に挑戦しています。

小型デバイスにおけるAIの未来を形作る

Karpathy氏の実験の影響は、週末のプロジェクトの領域を超えています。GPUを必要とせずに、小型のローカルデバイスにモデルを統合する先例を設定しています。このブレークスルーにより、マイクロソフトはMetaとのパートナーシップを通じて、Llama 2を基にした一連の小さなLLMをリリースする可能性があり、AIのアクセシビリティの新時代を迎えることができるでしょう。

また読む: マイクロソフトがLLMの自動プロンプト最適化フレームワークを導入

私たちの意見

Andrej Karpathy氏は、Llama 2モデルの簡略化バージョンとしてBaby Llamaを発表しました。その開発は、低電力デバイス上で純粋なCコードを使用してAIモデルを実行するという莫大なポテンシャルを示しています。このモデルは驚異的な対話速度と高速な推論を持ち、素晴らしい未来を約束しています。この画期的な実験は、リソース制約のあるマシンでも複雑なAIアプリケーションが成功する未来の舞台を設定しています。AIの世界は間違いなくパラダイムシフトを経験しており、Baby Llamaはその始まりかもしれません！

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!