機械学習なしで最初の自動修正を作成する

機械学習なしで自動修正を作成する

独自のスペルチェッカーを構築するためのステップバイステップガイド

スペルの修正はどこにでもあります。私がこの記事を書いている間、Grammarlyは静かにタイプミスを修正してくれています。電子商取引のウェブサイトにクエリを入力すると、まず正しいフレーズに移動して、希望する商品のタイトルとより良く一致させます。

スペルの修正は、書かれたコミュニケーションにおいて間違いなく重要です。コミュニケーションを向上させ、専門性を保ち、生産性を向上させます。スペルチェッカーを構築することを考えると、一つの大きな解決策が浮かび上がってくるかもしれません：ディープラーニング。しかし、ディープラーニングは必ずしも最適な選択肢ではありません。

この記事では、スペル修正のための古典的な技術である「ノイズチャネル」と、ディープラーニングのバックグラウンドを必要としない修正モジュールを構築する方法を紹介します。

ノイズチャネル

私たちは、文書内のすべての単語がある種の「歪み」を受けたノイズチャネルを通過したと考えることができます。私たちは、「デコーダーチャネル」と呼ばれる「歪み」を元に戻すことができるチャネルを学習することを目指しています。

• 効率的なディープラーニング：モデルの圧縮のパワーを解き放つ
• このAI論文では、Complexity-Impacted Reasoning Score（CIRS）を紹介していますこれは、大規模な言語モデルの推論能力を向上させるためのコードの複雑さの役割を評価するものです
• 「脳に触発された学習アルゴリズムにより、人工およびスパイキングニューラルネットワークにメタプラスティシティを可能にする」

スペルミスの修正には、すべての可能な修正候補を収集し、デコーダーチャネルを通過させて、最も尤度の高い候補を見つけることができます。

機械学習アプローチと比較して、ノイズチャネルは以下の理由からはじめるにはより好ましいと考えています：

• コスト効率：ディープモデルを構築および維持する必要はありません。ディープラーニングモデルを構築、提供、および維持するリソースを持っているのは一部の人だけです。
• ホワイトボックス：ノイズチャネルはより解釈可能です。スペルチェッカーから予期しない動作がある場合、スコアをより小さな要素に分解し、問題の発生源を特定することができます。したがって、適切な最適化を行うことができます（例：辞書の拡張、ハイパーパラメータの調整など）。

ただし、アプリケーションのリソースが増えるにつれて、seq2seqなどのディープモデルがより良い選択肢になります：

• ノイズチャネルには不足がある…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!