AudioCraft Metaの音声と音楽のための生成AI

AudioCraft Metaの音声と音楽生成AI

Facebookの親会社であるMetaは、テキストベースのプロンプトから音を生成する新しい生成AIツールを発表しました。同社は投稿で思考実験を始めます。「楽器で一つの音符も奏でずに、プロのミュージシャンが新しい作曲を探求できると想像してください。」

このような重要な言葉が、同社から出てくるということは、新しいAIツールが高品質でリアルなオーディオと音楽をテキストのプロンプトから生成できると主張しているということです。さらに興味深いことに、これは生成AIコンテンツに対するより厳格な監視が行われている時期に発表されました。

投稿によると、新しいAIツールの名前はAudioCraftで、3つのモデルから構成されています。MusicGen、AudioGen、そしてEnCodecです。最初のMusicGenは、Meta自身のライセンス付き音楽を使用してトレーニングされ、テキストのプロンプトから音楽を生成することができます。

• 「カリフォルニアのプライバシー規制当局の最初のケース：インターネットに接続された車の調査」
• 「Codey：Googleのコーディングタスクのための生成型AI」
• 「Amazon SageMakerを使用して数千のMLモデルのトレーニングと推論をスケール化する」

公開された音響効果を使用してトレーニングされたAudioGenも、テキストのプロンプトから音を生成することができます。環境音や犬の吠え声、車のクラクション、足音、特定の種類の床など、他の音効を作成することができます。

これら2つのモデルの違いは、音楽の作成と後者に焦点を当てた音効です。そして、Encodecです。同社によれば、このモデルはより少ないアーティファクトを持つ高品質の音楽生成が可能です。

これら3つのモデルはオープンソース化され、研究者や実践者が自身のデータセットでモデルをトレーニングできるようになっています。AIによる音楽と音の生成の世界はまだ幼いため、その結果は非常に興味深いものになるかもしれません。

現時点では、モデルは単にプロンプトを書き込んで魅力的な音が生成されるのを待つだけでは利用できません。複雑な性質を持つため、モデルにはさらなる作業が必要とされています。しかし、チームはAudioCraftモデルの家族が高品質のオーディオを生成できると約束しています。

同社は、AudioCraftモデルの家族がミュージシャンやサウンドデザイナーが自身の技術を探求するための新しいツールとして認識されることを期待しています。また、彼らの仕事にインスピレーションを与えることも期待しています。もし成功し、人気が出れば、これがDJデビッド・ゲッタが音楽の未来においてAIが重要な役割を果たすと述べた未来になるでしょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!