もう1つの大規模言語モデル！IGELに会いましょう：指示に調整されたドイツ語LLMファミリー

Another large-scale language model! Meet IGEL a German LLM family tailored for instructions.

IGELはテキストのための指示に調整されたドイツの大規模言語モデルです。 IGELバージョン001（Instruct-igel-001）は、既存のオープンソースモデルとドイツ語に翻訳された指示データセットの組み合わせからドイツ語の指示に調整されたモデルを構築することが可能かどうかを判断するために使用するための基本的なコンセプトの証明です。

IGELの最初のバージョンは、Malte Ostendorffによってドイツ語にローカライズされたBigScience BLOOMに基づいています。 IGELは、感情分析、言語翻訳、質問応答など、自然言語理解に関連するさまざまなタスクを高い精度と信頼性で実行するように設計されています。

チームは、LLMsがドイツ語の指示ベースのモデリングタスクをどれだけうまく実行するかを実験したかった。これを達成するために、予め学習されたカスタマイズされたBLOOMモデル（6B）を使用し、翻訳された指示に基づいたデータセットを用いてファインチューニングしました。データセットを構築するために、英語の指示をドイツ語に自動翻訳する手法が使用されました。この戦略により翻訳エラーが発生する可能性が高くなりましたが、彼らの目標は、モデルが依然として指示的な応答を生成することを学ぶことができるかどうかを判断することでした。

• 「LLMは誰の意見を反映しているのか？ スタンフォード大学のこのAI論文では、言語モデルLMが一般世論調査の観点から反映している意見について検証しています」
• 「ジェイソン・フラックスとともに会話型AI製品を本番環境に展開する」
• 「AIへの恐怖は迷信的なくだらないことだ」

Instruct-igel-001には、Hugging Face Transformersで使用するために結合されたウェイトを持つLoRAに調整されたBLOOM-CLP Deutsch（6.4Bパラメータ）が含まれています。instruct-igel-001が単純な翻訳された指示データセットでトレーニングされる前に、データのクリーニング、フィルタリング、および後処理にはほとんど注意が払われません。

チームは、幻覚、有害性、およびステレオタイプ化がinstruct-igel-001にあると述べており、これらはすべて言語モデルに共通する問題です。彼らは、チャットモデルを開発し、会話インターフェースを作成することで、データの品質を伝統的な要求と応答の方法を超えて向上させる予定です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!