DeepMindの最新研究（ICLR 2023）

DeepMind's latest research (ICLR 2023).

科学を一般化、拡大、加速するAIモデルに向けた研究

来週、2022年5月1日から5日までルワンダのキガリで第11回国際学習表現学会（ICLR）が開催されます。これはアフリカで開催される初の主要な人工知能（AI）の国際会議であり、パンデミック以来の初めての対面イベントとなります。

世界中の研究者が集まり、AI、統計学、データサイエンスの分野を横断するディープラーニングの最先端の研究成果や、機械ビジョン、ゲーム、ロボット工学などの応用について共有します。私たちはダイヤモンドスポンサーおよびDEIチャンピオンとして、この会議を支援していることを誇りに思っています。

DeepMindのチームは今年、23本の論文を発表します。以下はいくつかのハイライトです。

AGIへの道におけるオープンな課題

最近の進展は、AIのテキストと画像における驚異的な性能を示していますが、ドメインとスケールを横断して一般化するためにはさらなる研究が必要です。これは、人工一般知能（AGI）を私たちの日常生活において革新的なツールとして開発するための重要なステップとなります。

• あなたのオープンソースのLLMプロジェクトはどれくらいリスクがあるのでしょうか？新たな研究がオープンソースのLLMに関連するリスク要因を説明しています
• このAI研究は、大規模言語モデル（LLM）における合成的な人格特性を説明しています
• HuggingFace Researchが紹介するLEDITS：DDPM Inversionと強化された意味的なガイダンスを活用したリアルイメージ編集の次なる進化

私たちは、モデルが一度に2つの問題を解決することで学習する新しいアプローチを提案します。モデルに問題を同時に2つの視点から見るように訓練することで、類似の問題を解決する必要があるタスクに対する推論方法を学習し、一般化に有益です。また、ニューラルネットワークの一般化能力を、言語のChomsky階層と比較することで探求しました。16の異なるタスクで2200のモデルを厳密にテストすることで、特定のモデルが一般化に苦労していることがわかり、外部メモリでそれらを補完することが性能向上に重要であることを発見しました。

私たちが取り組んでいる別の課題は、報酬が少なく間隔が広い長期のタスクでの専門レベルの進展です。私たちは、モデルが長期の時間軸で人間らしい方法で探索するための新しいアプローチとオープンソースの訓練データセットを開発しました。

革新的なアプローチ

より高度なAIの能力を開発するにつれて、現在の手法が意図通りに現実世界で効率的に機能することを確保する必要があります。たとえば、言語モデルは印象的な回答を生成できるものの、その応答を説明することができないものも多くあります。私たちは、言語モデルを使用して複数段階の推論問題を解決するための方法を紹介します。これにより、人間が理解し、確認できる説明が提供されます。一方で、敵対的攻撃はAIモデルの限界を探る手法であり、誤ったまたは有害な出力を生成させることでモデルを試すものです。敵対的な例に対して訓練を行うことで、モデルは攻撃に対してより堅牢になりますが、通常の入力に対する性能には影響が出ることがあります。アダプターを追加することで、このトレードオフを動的に制御できるモデルを作成できることを示します。

強化学習（RL）は、さまざまな現実世界の課題において成功を収めていますが、RLアルゴリズムは通常、1つのタスクに対してよく機能するように設計されており、新しいタスクに一般化するのに苦労します。私たちは、アルゴリズム蒸留という方法を提案します。これにより、単一のモデルが多様なタスクにおいてRLアルゴリズムの学習履歴を効率的に模倣することで、新しいタスクに一般化することができます。また、RLモデルは試行錯誤によって学習するため、非常にデータ集約的で時間がかかります。私たちのモデルAgent 57が57のAtariゲーム全体で人間レベルのパフォーマンスに達するのに約800億フレームのデータが必要でした。私たちは、200分の1の経験を使用してこのレベルに訓練する新しい方法を共有し、計算コストとエネルギーコストを大幅に削減します。

科学のためのAI

AIは、研究者が複雑なデータを分析し、私たちの周りの世界を理解するための強力なツールです。いくつかの論文では、AIが科学の進歩を加速している様子や、科学がAIを進化させている様子を示しています。

分子の3D構造からその特性を予測することは、薬物探索において重要です。私たちは、分子特性予測において新たな最先端を達成するノイズ除去法を提案し、大規模な事前訓練を可能にし、異なる生物学的データセットに対して一般化することができます。また、原子位置のデータのみを使用してより正確な量子化学計算を行うことができる新しいトランスフォーマーを紹介します。

最後に、FIGnetでは、ティーポットやドーナツなどの複雑な形状の衝突を物理学から着想してモデル化しています。このシミュレーターは、ロボティクス、グラフィックス、機械設計など、さまざまな分野に応用が可能です。

‍

ICLR 2023でのDeepMindの論文リストとイベントのスケジュールをご覧ください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!