化学プロセス開発のためのモデルフリー強化学習

化学プロセス開発のモデルフリー強化学習

普遍的な化学プロセスオペレータへの取り組み

はじめに

プロセス開発、設計、最適化、および制御は、化学およびプロセスエンジニアリングにおける主な任務のいくつかです。具体的には、特定の目標（収率やスループットなど）を最大化し、潜在的な制約（入力濃度、流量、反応器容積、溶媒の沸点など）を尊重しながら、最適なレシピまたは適切な装置またはプロセスパラメータの構成を見つけることです（実験室実験を通じて）。これらのタスクを自動化することにより、例えば実験室のロボットを介して、多くの手作業を節約することができます。

最近の強化学習（RL）の進歩により、エージェントは複雑なタスクをマスターし、さまざまなゲームをプレイしたり、行列演算のためのより効率的な数学的手順を発見したりすることが明らかになりました。実験または数値シミュレーションから得られる運動学パラメータを用いることで、エージェントは最適な構成と合成レシピを見つけることができます。ただし、凸最適化とは異なり、アルゴリズム/モデルは直接プロセス制御に使用できます。このような実験は、メソッドのサンプル効率に応じて、コンピュータ上または直接実験室で行われることがあります。長期的には、これによりプロセス開発が（一部）自動化されるでしょう。この記事の目的は、パラセタモールの例を用いて、近接方策最適化（PPO）を使用して、これを説明することです。

問題の定義

ここでは、コンピュータプログラム、いわゆるエージェント、つまり普遍的な化学プロセスオペレータがあります。このオペレータは、化学操作、つまりアクションを実行できる環境に存在します。このようなアクションには、成分Aの投与、入出力フローの増減、温度の増減などが含まれます。エージェントがアクションを実行すると、特定の成分の濃度などの状態に応じて、新しい状態に移行します。

パラセタモール（PC）は、p-アミノフェノール（AP）と酢酸無水物（AA）から合成されます（図1a参照）。既知の運動学に基づいて、このプロセスはモデル化され、環境を表すことができます。例えば、連続式攪拌槽反応器（CSTR）として図…に示されています。

• AIの時代のIVRテスト：人間と機械のギャップを埋める
• 「人間と機械の間のギャップを埋めるAI時代のIVRテスト」
• AIパルス＃2：メタの人間のようなAI＆小さな言語モデル

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!