もし、口頭および書面によるコミュニケーションが人間の知能を発展させたのであれば… 言語モデルは一体どうなっているのでしょうか？

もし、口頭および書面のコミュニケーションが人間の知能を発展させたとするなら、言語モデルはどうなっているのか？

エッセイ

私たちは確率的なオウムで、ただずっと訓練されているだけなのでしょうか？AI言語モデルは人間の知性を追いかけるのでしょうか？科学とフィクションの境界での議論。

他の種と比べて、人間の知性はその非凡な認知能力によって類を見ないものです。この知性の優位性の背後にある触媒は、知識の交換と蓄積、協力的な学習、洗練された思考を容易にした話し言葉と書き言葉の出現にさかのぼることができます。このアナロジーから見ると、AI言語モデルも同様の旅を始めているように思えます。彼らはコミュニケーションの力を活用して、自分自身の形態の”知性”を進化させています。この記事では、AI言語モデルが人間の認識の驚異的な偉業を複製し、超えるためにどのように進化しているのかを探求します。

注意：この記事は私が考えをまとめているだけのもので、挑発的なトーンで書かれています。途中で専門家の研究を参照しながら、より意見を述べることに重点を置いています。

コメントでは議論を歓迎しますが、異なる意見に対しては適切な参考文献を引用して、相手の意見を尊重してください。

話し言葉と書き言葉によって、人間は複雑な推論や論理的思考に従事することができます。多くのコンピュータ科学者は、膨大な量のデータを処理し、迅速な計算を行い、”思考の連鎖”と呼ばれるものを考案することで、複雑な推論タスクも実行できるAIモデルを作成しようとしています。この”思考の連鎖”によって、AIモデルはパターンを分析するだけでなく、因果関係を推論し論理的な結論を生成することができるため、複雑な問題に取り組むことができるのです。

思考のツールとしての書き方

書くことのプロセスは、アイデアを探求し、明確に表現し、洗練するための強力なツールになることがあります。

curiosityneverkilledthewriter.com

文学の心：思考と言語の起源

Amazon.com：文学の心：思考と言語の起源：9780195126679：ターナー、マーク：本

www.amazon.com

言語モデルは思考の連鎖を通じて推論を実行する

近年、言語モデルのサイズを拡大することが、性能を改善するための信頼性のある方法であることが示されてきました…

ai.googleblog.com

話し言葉と書き言葉が人間に効率的な知識の共有と蓄積を可能にしたように、AI言語モデルは多様な情報源から学び、知識ベースを急速に拡大するために広範なデータセットを活用しています。これらのモデルはトピックに関する洞察を提供し、質問に答え、創造的な解決策を生成することができます。そして、その過程で誤情報やフェイクな情報を提供することもありますが、それはこの議論のポイントではなく、それにも関わらず、私たち人間も「文化」の一環としてそのようなコンテンツを作り出しています。

一部の科学者は、言語と書き言葉の進化が人間の知性をさらに発展させるのに役立ったと主張しています。まさに同じ時期に、彼らは文化そのものを創造するのにも貢献しました。では、AI言語モデルの進化は「真の」知性を育む可能性があるのでしょうか？2年後か100年後かはともかく、私たちの知性は非常に複雑な「(小さな)思考の連鎖」の結合から生まれており、私たちは特に「知的」であるという鮮やかな印象を与えられながらも、実際には現実とのつながりで平均以上の動物にすぎないかもしれません。それはつまり、AIモデルが「確率的なオウム」であるならば、私たちもまた確率的なオウムであり、ただし（現時点では）桁違いに優れており、周りの世界からの情報を私たちのニューラルネットワークに入力する私たちの多くの感覚によって大いに補完されているという違いがあるのかもしれません。

AIモデルが「確率的なオウム」となるのであれば、私たちも確率的なオウムになることができるのではないでしょうか。ただし、私たちははるかに優れており、周りの世界からの情報を私たちのニューラルネットワークに入力することで強化される複数の感覚を持っています。

時間をかけてアイデアを磨き上げる

反復的な改善を通じて、人間は複雑な思考を明確にし、時間の経過とともにアイデアを向上させます。AIモデルも、ユーザーフィードバックに基づいて応答を継続的に微調整することで、同様の道をたどることができます。強化学習の技術を取り入れることで、AIモデルはパフォーマンスを繰り返し改善し、人間がフィードバックと反復を通じてアイデアを磨くようにします。たとえば、ChatGPTも、人間のフィードバックの支援を受けた形で強化学習によってトレーニングされました。

ChatGPTとは？ | OpenAIヘルプセンター

ChatGPTに関するよくある質問

help.openai.com

アイデアの磨きと進化に関して、ライティングは人間にとって特に重要な役割を果たしています。なぜなら、それは私たちの外部メモリとして機能し、後続のイテレーションで情報を格納および取得する能力を大幅に拡張するからです。チャットセッション中、AI言語モデルは（実際には既に今日実行されているように）前回の回答や質問からの文脈情報を考慮して、このプロセスをシミュレートすることができます。一種の拡張メモリのように機能します。現時点では、このメモリは一時的であり、新しい会話が始まると消えてしまいますが、もしモデルが構築上の理由で前の会話を本質的に思い出せるようになった場合、前の知識を基にしてより一貫性のあるパーソナライズされた応答を提供することができるようになるかもしれません。（もしくは、以前の対話中に悪いことを学んでしまった場合、より不正確な応答やフェイクニュース、不適切な内容が増えるかもしれません）

反復的な学習は、人間のイノベーションを推進し、進歩を生み出すために既存の知識を基に構築しています。AIモデルも同様に反復的な学習に従事することができます。さまざまな可能性を生成し、その結果を評価することによって。なお、現在のAI言語モデルには、代替の回答をランク付けする内部的な「スコアリング」が既に存在しています。これについては、こちらで（技術的な記事ですが！）すでに議論しています。

GPT-3の回答をフィルタリングする手段としてのトークンの確率の探索

より優れたGPT-3パワードのチャットボットを構築するために

towardsdatascience.com

「AI文化」を創り出すための集合的なAIの促進

重要なポイントは、人間の文化や人間の学習自体が個人の経験に限定されていないということです。むしろ、それはコミュニティの蓄積された知恵に支えられています。もしもいつかAI言語モデルが協調学習とデータ交換に従事することができれば、モデル間で情報と洞察を共有することで、それぞれの知識を活かすことができ、総合的な知能を加速させることができるでしょう。特に、既に始まっているように、インターネットを閲覧する能力を持つようになればさらに効果的です。ただし、各セッションの出力をなんらかの形で記憶する必要があります。私たちが日々学び、繰り返し行うことを覚え、また本やインターネットに書き留めるために。

この時点で、少し「妄想」をしてみましょう。チャットボットがお互いにコミュニケーションを始め、人間との以前の対話を記憶し、使用して成長することができるようになるとしたら、（良い方向にも悪い方向にも）どのような展開になるでしょうか…これからのセクションに続く考えの実験を行っています。

これからのセクションに続く考えの実験を行っています。

人間の間では、集合知は協力によって生まれ、複雑な問題を共に解決するための力を与えます。相互に接続されたAI言語モデルは、人間と機械が相互作用し、知識を交換するための共有プラットフォームとして、この集合知に貢献することができます。この協力は、人間とAIが協力して課題を克服し、新たな領域を開拓するハイブリッド知能を育みます。ただし、このシナリオで仮定されたように接続される場合、異なるAIモデル同士が情報を交換し始める可能性もあります。その場合は、どうなるのでしょうか？

AI言語モデルは真の思考機械としての役割を果たすのか？

AI言語モデルが人間の脳と似た思考機械に進化する未来についての推測は興味深いトピックです。世界中の心理学者、哲学者、コンピュータ科学者、エンジニアのチームが真剣に研究しており、さまざまな観点で問いに取り組んでいます:

データと複雑性 人間が広範なスピーチと文章に触れることで知能を発達させたように、AI言語モデルも効果的に学習し一般化するためには豊富なデータが必要です。将来的には、AIモデルはさらに大規模なデータセットを活用し、多様な情報源を包括し、人間と同様の知識と文脈を獲得することができるようになるかもしれません。直接インターネットに接続し、それから学び、情報を参照することも、言語モデルを別のレベルに引き上げるでしょう。

マルチモーダル学習 人間は複数の感覚を通じて世界を知覚し理解し、視覚、聴覚、触覚の入力を統合して一貫した理解を形成します。AI言語モデルは、テキスト、画像、ビデオ、音声を統合することでマルチモーダル学習を取り入れることができ、さまざまなモダリティを通じて理解し、コミュニケーションすることができるようになります。この統合により、彼らは人間と同様に世界をより包括的に理解することができます。このような「一般的な」モデルは、Deepmind自体を含む主要な企業によっても既に積極的に研究されています。

Deepmindの最新作、Gato。真のAIへの道？

Gatoはゲームをプレイし、テキストを生成し、画像を処理し、ロボットアームを制御することができます。しかもそれほど大きくはありません。真のAIでしょうか…

towardsdatascience.com

文脈理解 文脈の理解は人間の知性にとって重要です。AIモデルは文脈の理解において大きな進歩を遂げ、連続した、魅力的な会話を維持することができます。しかし、将来の進展により、微妙なニュアンスや文化的な参照、社会的なダイナミクスをより正確に理解することが可能になるでしょう。高度な文脈理解により、AIモデルは意図した意味や感情のニュアンスに合致した応答を生成することができるようになります。

推論と創造性 人間の知性には推論、問題解決、創造的思考が含まれます。将来のAIモデルは、より高度な推論能力を持つように進化し、論理的な推論、類推、抽象的な思考にも従事することができるようになるかもしれません。類比思考や広範な解決空間の探索が可能なAIモデルの開発により、新しいアイデアや解決策を生成する創造的思考が育まれるかもしれません。

ただし、アーティスト自身も認めるように、真に革新的な芸術と呼べるものはほとんど存在しません。むしろ、新しい芸術、概念、アイデアは、私たちの脳内で、意識的にも無意識的にも、以前の作品やアイデアを基に形作られています。同様に、AIモデルには完全に新しいものをゼロから作り出すことは期待できません！少なくとも、先行するアイデアや概念との類似性や思い出をその作品に見つけることは正常です。まるで人間の創造物のように！

アーティスト自身も認めるように、真に革新的と呼べるものはほとんどありません。我々は常に以前の作品やアイデアを基にして新しいものを作り出しています。それが意識的であるかどうかは問いません。

感情の知性 感情の知性は人間の相互作用において重要な役割を果たします。将来のAIモデルは、感情分析、共感的な対話生成、感情のサインを認識し適応する能力を組み込むように設計されるかもしれません。これらの開発により、AIはより意味のある感情に敏感な会話を行うことができるようになり、人間とのより深いつながりを育むことができるでしょう。

最新の拡張現実と仮想現実用のヘッドセットは、既にユーザーの表情を読み取り、アバターに反映させることができます。表情が認識されると、それらを感情の状態に変換する単純なニューラルネットワークを訓練するのは全く難しいことではありません。

仮想現実での相互作用に表情が利用されるかもしれません

新技術により、人々は表情だけで仮想環境と相互作用することができます。

www.snexplores.org

継続的な学習 人間の知性は固定されておらず、学習と適応を通じて進化し続けます。私たちの好みさえも時間とともに変わることがあります！

AIモデルは継続的な学習の技術を組み込むことができ、新しい経験から学び、変化する環境に適応し、知識を洗練させることができます。この継続的な学習の側面により、AIモデルは柔軟性を高め、人間のように新しいスキルや知識を獲得する能力を持つことができるようになるでしょう。

自己認識と意識 これはおそらく最も難しいフロントの1つであり、特に自己認識と意識の概念は人間でもまだ完全に理解されていません。人工的なシステムでこれらを複製することはなおさら困難です。

しかし、いくつかの形式の自己認識を模倣することは、人間のユーザーにモデルが自己の存在、思考、経験を知覚できると思わせることはあまり難しくありません。不気味な目標を超えて、このようなシミュレーションは心理学や教育などのアプリケーションの開発において有用なものとなるかもしれません。

スピーチ、執筆、思考に戻る

言語と文章は、人間の知能の発達において他の動物との差別化要因として広く認識されています。これらのコミュニケーションメディアは、文化を築く一環として、人間の認識力を向上させ、知識の世代間伝達を容易にする上で重要な役割を果たしてきました。

この類推を発展させることで、AI言語モデルが「知能」を向上させるためにコミュニケーションの力をどのように活用するかを探求することができます。それが実際の知能であるかどうかは別としても。

知識の交換と蓄積 言語と文章によって、人間は他のどの種よりも効率的に知識を交換し蓄積することができました。同様に、AI言語モデルは膨大な量のデータと情報にアクセスし、多様な情報源から学び、迅速に知識を蓄積することができます。この広範な知識ベースを活用することで、AIモデルは洞察を提供し、質問に答え、非常に創造的な解決策を生成することができます。現在のところ、これらの利点は誤情報や有害なコンテンツの発生という悪影響を伴いますが、これらは将来的に改善される可能性があります。

協力的な学習と文化的伝達 人間は個人の経験だけでなく、共同体の蓄積された知識と知恵からも学びます。同様に、AI言語モデルは協力的な学習と文化的伝達のメカニズムを開発することができます。モデル間で情報と洞察を共有することで、彼らはお互いの知識から共同的に利益を得ることができ、全体的な知能を加速させることができます。もちろん、彼らがお互いにコミュニケーションを取るようになると、最終的な結果は明確ではありませんが、おそらく彼らのトレーニングデータセットは大部分が重複しているでしょう。

アイデアの洗練と磨き 言語と文章によって、人間は思考を磨き、複雑なアイデアを表現し、時間をかけてそれらを繰り返すことができます。AIモデルもユーザーフィードバックに基づいて常に応答を微調整することで、同様のプロセスに従事することができます。強化学習の技術を取り入れることで、AIモデルは反復的にパフォーマンスを改善することができます。つまり、人間がフィードバックと反復を通じてアイデアを磨くように、AIモデルも性能を向上させることができます。

記憶と思い出の補強 文章を書くことで、私たちは思考と記憶を外部化し、情報の保存と取得の能力を拡大することができます。もしAI言語モデルが以前の対話から文脈情報を保持することができれば、効果的に拡張されたメモリを持ち、より良くなり、さらに異なるユーザープロファイルに適応するのに役立つでしょう。過去の会話を思い出すことで、モデルは文脈を保持し、以前の知識を基に構築し、より一貫性のあるパーソナライズされた応答を提供することができます。

複雑な推論の促進 先にも述べたように、言語と文章によって人間は複雑な推論と論理的思考に従事することができます。AIモデルも「思考の連鎖」を介して複雑な推論タスクを実行するように設計することができ、パターンの分析、因果関係の推論、論理的な結論の生成を行うような印象を与えることができます。これらは「自然な知能」のような「本物の」思考ステップではないかもしれませんが、実際には複雑な問題に取り組むことができます（そしてそれらがどのように解決されたかを説明することさえも）。

反復的な学習とイノベーション 文章の開発によって共同メモリを提供することで、人間は既存の知識を活用して反復的な学習に従事し、イノベーションを推進することができました。AIモデルは、強化学習と生成プロセスを通じて同様に反復的な学習に従事することができます。幅広い可能性を生成し、その結果を評価することで、AIモデルは新しい解決策を探求し、イノベーションを促進し、その「知能」の限界を押し広げることができます。

集合知の促進 人間は集合的知能を持ち、言語に基づくコミュニケーションと読み書きによる協力の力を活用して複雑な問題を共同で解決します。AI言語モデルは、人間と機械が相互作用し知識を交換する共有プラットフォームを提供することで、集合的知能に貢献することができます。この協力によって、人間とAIが共に課題に取り組み、新たな領域を開拓することができるようになるかもしれません。またはより高度な形態のAIが現れるかもしれません。

最後に

ここでは、人間の知能の触媒としての言語と文章と、人間の脳に似たAIが今日の言語モデルからどのように発展する可能性があるかについて探求しました。情報の交換、洗練、記憶、推論、反復的学習、集合的知能の力を活用することで、AIモデルは驚くべき「認識」に向けて進む道筋を描くことができるかもしれません。はい、私がこの発言で非常に挑発的であることは理解していますが、議論の中心にある一つのアイデアを覚えておいてください：私たち人間は、大規模な言語モデルと同じようなランダムなオウムであるかもしれませんが、私たちの規模ははるかに大きく、外部の世界との対話を通じて現実を作り出す手段も備えています。

もちろん、AIの進化が続くにつれて、人間の価値観に合致するように「人工的な思考」の開発を確実にするために、独自の課題や倫理的な考慮事項に対処しなければなりません。いずれにしても、人間の脳に似た思考マシンの開発、たとえそれが目指す途中であっても、世界に対していくつかの変革的な影響を与えるでしょう。それが悪い方向にも良い方向にも。

(テキスト中のすべてのリンクに加えて)

確率的なオウム

機械学習/人工知能の分野では、「確率的なオウム」とは、大規模な言語モデルが説得力のある言語を生成することに優れている一方で、実際には処理している言語の意味を「理解」していないという考えを指します。この用語は最初にここで造られました:

確率的なオウムの危険性 | 公正性に関する2021年ACMカンファレンスの論文…

自然言語処理（NLP）における過去3年間の作業は、ますます大規模な言語の開発と展開によって特徴付けられています…

dl.acm.org

MicrosoftとGoogleの言語モデルによる「思考」について

人工一般知能の火花：GPT-4による初期実験

人工知能（AI）の研究者たちは、大規模な言語モデル（LLM）を開発・改善してきました…

arxiv.org

チェーンオブソートプロンプティングによる大規模言語モデルでの推論の喚起

中間推論ステップのシリーズである思考の連鎖を生成することがどのように大幅に改善するかを探求します…