光ニューラルネットワークとトランスフォーマーモデルを実行した場合、どのようなことが起こるのでしょうか?

光ニューラルネットワークとトランスフォーマーモデルを実行すると何が起こるか?

ディープラーニングモデルの指数関数的な拡大スケールは、最先端の進化と巨大スケールのディープラーニングのエネルギー消費、速度、そして実現可能性についての増大する懸念の源であり、これによりディープラーニングの利用が指数関数的に増加しています。最近、Cornellの研究者は、特にTransformerのトポロジーについて話しました。これらのモデルは、数十億、あるいは数兆のパラメータにスケールアップすると劇的に優れた性能を発揮し、ディープラーニングコンピューティングの利用が指数関数的に増加します。これらの大規模なTransformerは、デジタルハードウェアのエネルギー効率が最先端のディープラーニングモデルのFLOP要件の上昇に追いついていないため、多くのタスクにおいて人気がありますが、高価な解決策です。また、コンピュータビジョン、グラフ、マルチモーダル設定など他の領域でもますます印象的なパフォーマンスを発揮しています。

また、これらのモデルは転移学習のスキルを持っており、追加のトレーニングなしで特定の活動に素早く一般化できる場合があります。これらのモデルのコストと一般的な機械学習の能力は、効果的で迅速な推論のためのハードウェアアクセラレータの創造の主要な推進力となっています。ディープラーニングハードウェアは、過去にはGPU、モバイルアクセラレータチップ、FPGA、大規模なAI専用アクセラレータシステムなど、デジタル電子工学で広範に開発されてきました。光学ニューラルネットワークは、他の方法と比較して、デジタルコンピュータ上のニューラルネットワークの実装よりも効率性とレイテンシが優れている解決策として提案されています。同時に、アナログコンピューティングにも大きな関心があります。

これらのアナログシステムはノイズやエラーの影響を受けやすいですが、ニューラルネットワークの演算は、通常は大規模な線形演算に分散されたウェイトとデータの読み込みに関連する電気オーバーヘッドを除いて、光学的により低コストで実行できます。Transformerなどの大規模なモデルの高速化は、特に有望です。理論的には、スケーリングはデジタルシステムよりもMACごとのエネルギー効率が漸近的に高いです。ここでは、彼らがこのスケーリングをどのように活用しているかを示します。彼らは、言語モデリングのための実際のTransformerからの演算をサンプリングし、実際の空間光変調器ベースの実験系で実行しました。そして、その結果を使用して、光学的に実行されるフルトランスフォーマーのキャリブレーションされたシミュレーションを作成しました。これは、ノイズやエラーの特性にもかかわらず、Transformerがこれらのシステム上で動作することを示すために行われました。

彼らは、これらの試行で得られたウェイトと入力を使用して、システマティックなエラー、ノイズ、および不正確さを伴うシミュレーションを行いました。すると、Transformerはデジタルで動作しているものとほぼ同等のパフォーマンスを発揮することがわかりました。以下は、彼らの主要な貢献の概要です:

• 光学的なTransformerのパフォーマンスと総エネルギーコストのスケーリングルールを作成しました。彼らは実験的に示しました、Transformerの線形演算は、エラーやノイズにもかかわらず、実際の光学ハードウェア上で正確に実行できることを。

• シミュレーションとテストに基づいた設計を使用して、ONNアクセラレータのエネルギー消費量を予測しました。

• 光学は、最先端のプロセッサよりも桁違いに少ないエネルギーを消費すると計算しました。

彼らのシミュレーションとテストは特定のハードウェアを例示として使用していますが、彼らの焦点は広範です。彼らは光学エネルギースケーリングとノイズがTransformerの構築とパフォーマンスにどのように関連しているかを知りたいのです。その結果、ハードウェアの具体的な実装の詳細に関係なく、線形光学プロセッサに一般的に適用できる結論のほとんどが得られます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI研究

メタAI研究者がGenBenchを導入:自然言語処理の汎化を進める革命的なフレームワーク

モデルの一般化能力は、自然言語処理(NLP)の持続的な成功にとって重要です。重要な要素として一般的に受け入れられているも...

データサイエンス

LinkedInのフィード進化:より詳細かつパワフルな機械学習、そして依然として人間も重要

LinkedInのフィードとインフラの最新更新について読むと、人間を中心に据えた原則を技術用語と実装に繋げる方法が解説されて...

人工知能

AIが開発者の生活を簡単にする10の方法

AIは、テストやバグ修正などの繰り返しのタスクを自動化し、開発者がより創造的で戦略的な作業に集中することができるように...

機械学習

OpenAIとLangChainによるMLエンジニアリングとLLMOpsへの導入

「OpenAI LLMsの操作方法とPythonでの人気のあるLangChainツールキットの使用方法を理解する書籍『Machine Learning Engineer...

人工知能

「生成AIの時代における品質保証の再考」

「GenAI が生成したコードに追いつくために、テストエンジニアはGenAIツールを活用し、QA計画の基礎を形成する必要があります」

機械学習

トランスフォーマーにおけるセルフアテンション

「初心者にやさしいセルフアテンションガイドセルフアテンションは、AIの現在の進歩の中で鍵となる「トランスフォーマー」の...