「BERT vs GPT：NLPの巨人たちの比較」

Bert vs GPT A Comparison of NLP Giants

彼らの構造はどれほど異なり、その違いがモデルの能力にどのような影響を与えるのでしょうか？

2018年、NLPの研究者たちはBERTの論文[1]に驚嘆しました。その手法はシンプルでしたが、その結果は印象的で、11のNLPタスクで新たな基準を確立しました。

わずか1年以上で、BERTは自然言語処理（NLP）の実験で広く使用される基準となり、150以上の研究論文がモデルの分析と改善を行っています[2]。

2022年、ChatGPT[3]は人間らしい応答を生成する能力でインターネットを騒がせました。このモデルは幅広いトピックを理解し、長時間にわたって自然な会話を続けることができるため、従来のチャットボットとは一線を画しています。

BERTとChatGPTはNLPの重要なブレークスルーですが、そのアプローチは異なります。それぞれの構造の違いとモデルの能力への影響について見ていきましょう！

• 画像拡張のための生成的対立ネットワーク（GAN）
• NVIDIAがFlexiCubesを導入：フォトグラメトリーや生成AIなどのニューラルワークフローから高品質のメッシュを生成するための新しいアプローチ
• Scikit-Learnを使用した特徴選択の方法

Attention（注意機構）

モデルの構造を完全に理解するために、まず一般的に使用されるAttention（注意機構）を思い出しましょう。Attention機構は、シーケンス内のトークン間の関係を捉えてモデル化するために設計されており、これがNLPタスクで非常に成功している理由の一つです。

直感的な理解

• 箱v1、v2、…、v_nに保管されているn個の商品があると想像してください。これらは「値」と呼ばれます。
• 各箱から適切な量の商品を取るよう要求するqというクエリがあります。それぞれw_1、w_2、…、w_nと呼びましょう（これが「注意の重み」と呼ばれます）。
• w_1、w_2、…、w_nをどのように決定しますか？つまり、v_1、v_2、…、v_nの中でどれを他よりも多く取るべきかをどう知るのでしょうか？
• すべての値は中身を見ることができない箱に保管されていることを忘れないでください。そのため、v_iが他よりも少なくまたは多く取られるべきかを直接的に判断することはできません。
• 幸いなことに、各箱にはk_1、k_2、…、k_nというタグが付いています。これらは「キー」と呼ばれます。キーはコンテナ内の特性を表します。
• qとk_i（q*k_i）の「類似度」に基づいて、v_iの重要性（w_i）と、どれだけのv_iを取るべきか（w_i*v_i）を決定することができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!