このAI論文では、Complexity-Impacted Reasoning Score(CIRS)を紹介していますこれは、大規模な言語モデルの推論能力を向上させるためのコードの複雑さの役割を評価するものです

This AI paper introduces Complexity-Impacted Reasoning Score (CIRS) to evaluate the role of code complexity in improving the inference ability of large language models.

大規模言語モデル(LLM)は、具現化された人工知能の問題解決における汎用的なアプローチとなっています。効率的な制御のためにエージェントが環境の意味的な微妙さを理解する必要がある場合、LLMの推論能力は具現化されたAIにおいて重要です。最近の方法である「思考のプログラム」では、プログラミング言語を課題を解決するための改善されたプロンプトシステムとして使用しています。思考のプログラムプロンプトは、チェーン思考プロンプトとは異なり、問題を実行可能なコードセグメントに分割し、それらを一度に処理します。ただし、プログラミング言語の使用とLLMの思考能力の関係については、まだ十分な研究が行われていません。思考のプログラムプロンプトは、どのような場合に推論に対して機能するのか、依然として重要な問いとなります。

本論文では、コードの推論段階とLLMの推論能力との関係を評価するための包括的な指標である「複雑度に影響を与える推論スコア(CIRS)」を提案しています。彼らは、プログラミング言語が複雑な構造のモデリングの改善された手法であるために、直列化された自然言語よりも優れていると主張しています。また、手続き志向の論理は、複数のステップを含む困難な思考を解決するのに役立ちます。そのため、彼らが提案する指標は、構造と論理の両面からコードの複雑さを評価します。具体的には、彼らは抽象構文木(AST)を使用してコードの推論段階(根拠)の構造的複雑さを計算します。彼らの方法では、ASTを木として表現するために3つのAST指標(ノード数、ノードタイプ、深さ)を使用し、コードの構造情報を包括的に理解します。

浙江大学、東海研究所、シンガポール国立大学の研究者は、HalstedとMcCabeの考え方に触発され、コーディングの難易度とサイクロマティック複雑度を組み合わせることで論理の複雑さを決定する方法を開発しました。したがって、コードの演算子、オペランド、制御フローを考慮することが可能です。彼らはコード内の論理の複雑さを明示的に計算することができます。彼らが提案するCIRSを使用した経験的な調査により、現在のLLMがコードなどの象徴的な情報を制限された理解しか持っていないこと、すべての複雑なコードデータがLLMによって教えられ理解されるわけではないことが明らかになりました。低複雑度のコードブロックは必要な情報が不足していますが、高複雑度のコードブロックはLLMにとって理解するのが難しすぎる場合があります。LLMの推論能力を効果的に向上させるためには、適切な複雑度(構造と論理の両方)を持つコードデータのみが必要です。

彼らは、推論能力に最も優れたデータを生成および除外するデータを自動的に合成して分類する方法を提供しています。彼らはこのアプローチを2つの異なる状況で使用しています:(1)数学的思考を必要とする活動のための手順の作成の指示の指示。 (2)コード作成を含む活動のためのコードデータのフィルタリング。彼らの提案する戦略は、数学的な推論においてベースラインモデルよりも優れた成績を収め、コード作成の課題においても成功を示しています。

この論文への彼らの貢献は以下の通りです:

• 推論データの難しさを測定する独自のアプローチであるCIRSを提案しています。論理的および構造的な観点からコードデータを分析する彼らの方法は、コードの複雑さと推論能力の関係を正確に測定することができます。

• 異なる複雑度レベルの影響を経験的に分析し、LLMが学習できる適切な程度のコード言語をプログラムの思考プロンプトの推論能力の鍵として特定しています。

• 自動合成および分類アルゴリズムを作成し、数学的思考を必要とする仕事のためのコードデータのフィルタリングと指示の作成に彼らの方法を使用しています。多くの結果が彼らの提案する視点の有効性を支持しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「力強いコネクティビティ:IoTにおけるエッジコンピューティングの復興」

エッジコンピューティングとIoTがリアルタイムの効率化、帯域幅の最適化、およびイノベーションのために結集します課題はまだ...

AI研究

アップルの研究者がDeepPCRを公開:通常は順次処理される操作を並列化してニューラルネットワークの推論とトレーニングの速度を向上させる新しい機械学習アルゴリズム

人工知能や深層学習の進展により、さまざまな革新が実現されています。テキストや画像の合成、分割、分類などの複雑なタスク...

人工知能

「AIオートメーションエージェンシーのリードを増やす方法(月間100件以上のミーティング)」

「顧客を見つけることは数のゲームであり、多くの時間を要しますAIにすべての困難な仕事を任せない限り」

AIニュース

「NotebookLMは12以上の新機能を追加します」

「アメリカで現在利用可能なNotebookLMには、読みやすくメモを取り、執筆プロジェクトを整理するための新機能が追加されまし...

機械学習

RayはNVIDIA AIとの協業により、開発者が製品向けのLLMを構築、調整、トレーニング、スケールアップするのを支援します

大規模言語モデルの開発は、NVIDIAとAnyscaleのコラボレーションにより、超音速の速さに達する予定です。 Anyscaleは、急速に...

機械学習

「vLLMに会ってください:高速LLM推論とサービスのためのオープンソース機械学習ライブラリ」

大規模な言語モデル(LLM)は、プログラミングアシスタントやユニバーサルチャットボットなどの新しいアプリケーションを可能...