[イーデイリーLee So-Hyun 記者] AI推論の効率化を手掛ける企業 #NOTAが、モデルの軽量化やGPUの最適化にとどまらず、AIエージェントのワークフローまで制御する「フルスタック最適化」技術を公開しました。同じAIモデルとGPUを使用しながらも、コーディングエージェントの作業時間を最大47%、出力トークンを最大60%削減しました。
ノタ、AIエージェント最適化適用時の数値比較(写真=ノタ)
ノータは18日、既存のAIモデルの軽量化とGPUカーネルの最適化に、エージェントの実行制御を組み合わせたフルスタック最適化技術を開発したと発表しました。
AIエージェントは、1つのリクエストを処理する過程で、モデルの呼び出しやツールの使用、結果の検証を繰り返します。この過程で不要な推論や再検討が繰り返されると、応答時間が長くなり、演算リソースの消費も増大する可能性があります。
ノタはこれを削減するため、モデルやGPUだけでなく、エージェントの推論・検証・ツール呼び出し方式まで合わせて調整する構造とし、最適化の範囲を広げました。
今回の技術の核心は、エージェントの作業フローを管理する「ハーネス」の最適化です。最近の応答の長さやファイルの修正履歴、ツール実行結果などを分析し、状況に応じた推論強度を選択するとともに、すでに通過した検証や不要な再検討を繰り返さないよう制御します。
モデルの回答生成プロセスとGPUによる計算処理も併せて改善しました。「DFlash2ベースの推測デコーディング」に反復文脈を再利用する技術を適用し、モデルが予測を受け入れる割合を高めるとともに、GPUカーネルはハードウェアの特性に合わせて調整しました。複数のGPUが高速実行設定を共有できるようにすることで、重複したチューニングや待ち時間も削減しました。
性能評価は、同一のAIモデルとNVIDIA RTX PRO 6000 GPU 4枚を使用する環境で行いました。比較対象は、オープンソースのコーディングエージェント「Cline」の基本構成とし、「Terminal-Bench 2.1」と「SWE-bench Multilingual」を活用しました。
NOTAは、モデルの推論とGPUカーネルの最適化を共通して適用し、エージェントの制御レベルに応じて「Fast」と「Ultra Fast」の2つのモードで性能を測定しました。「Fast」モードでは、問題解決率を高めたり同程度に維持したりしながら、処理時間を最大32%、出力トークンを最大42%削減しました。 ウルトラファストモードでは、反復検証や不要な再検討まで削減し、処理時間を最大47%、出力トークンを最大60%削減しました。
ただし、効率を高める過程で、性能の低下も一部見られました。ソフトウェアのエラー修正評価では、ウルトラファストモードの問題解決率が、比較基準の65.7%から62.0%へと低下しました。これは、作業の種類や最適化レベルによって、処理効率と解決率の間に差が生じ得ることを意味します。
ノータは、今回の技術をコーディングエージェントから始め、企業向けAIエージェントや生成AIサービス全般へと拡大する計画です。
既存のモデルの軽量化とハードウェアの最適化に、エージェントの実行制御を組み合わせることで、顧客が同じコンピューティングリソースでより多くのAIタスクを処理できるようにし、これを最適化ソフトウェアのライセンスおよび技術提供事業へとつなげていくという戦略です。
ノタのキム・テホ最高技術責任者(CTO)は、「AIエージェントが実際の業務に導入されるにつれ、モデルの単純な推論速度よりも、一つのタスクを完了するのに必要な時間と演算コストがより重要になってくる」とし、「ノタは、モデルとGPUの最適化にとどまらず、エージェントの推論と検証のプロセスまで合わせて最適化し、同一のインフラでより多くのAI業務を処理できるよう、技術の範囲を拡大している」と強調しました。
さらに、「今後は、さまざまな企業向けAIエージェントやサービス環境への適用を拡大し、顧客のAI運用コストを削減するとともに、ノータの最適化ソフトウェア事業の領域も広げていく」と付け加えました。
ノータは18日、既存のAIモデルの軽量化とGPUカーネルの最適化に、エージェントの実行制御を組み合わせたフルスタック最適化技術を開発したと発表しました。
AIエージェントは、1つのリクエストを処理する過程で、モデルの呼び出しやツールの使用、結果の検証を繰り返します。この過程で不要な推論や再検討が繰り返されると、応答時間が長くなり、演算リソースの消費も増大する可能性があります。
ノタはこれを削減するため、モデルやGPUだけでなく、エージェントの推論・検証・ツール呼び出し方式まで合わせて調整する構造とし、最適化の範囲を広げました。
エージェントの「ハーネス」まで最適化
今回の技術の核心は、エージェントの作業フローを管理する「ハーネス」の最適化です。最近の応答の長さやファイルの修正履歴、ツール実行結果などを分析し、状況に応じた推論強度を選択するとともに、すでに通過した検証や不要な再検討を繰り返さないよう制御します。
モデルの回答生成プロセスとGPUによる計算処理も併せて改善しました。「DFlash2ベースの推測デコーディング」に反復文脈を再利用する技術を適用し、モデルが予測を受け入れる割合を高めるとともに、GPUカーネルはハードウェアの特性に合わせて調整しました。複数のGPUが高速実行設定を共有できるようにすることで、重複したチューニングや待ち時間も削減しました。
処理時間最大47%↓…出力トークン最大60%↓
性能評価は、同一のAIモデルとNVIDIA RTX PRO 6000 GPU 4枚を使用する環境で行いました。比較対象は、オープンソースのコーディングエージェント「Cline」の基本構成とし、「Terminal-Bench 2.1」と「SWE-bench Multilingual」を活用しました。
NOTAは、モデルの推論とGPUカーネルの最適化を共通して適用し、エージェントの制御レベルに応じて「Fast」と「Ultra Fast」の2つのモードで性能を測定しました。「Fast」モードでは、問題解決率を高めたり同程度に維持したりしながら、処理時間を最大32%、出力トークンを最大42%削減しました。 ウルトラファストモードでは、反復検証や不要な再検討まで削減し、処理時間を最大47%、出力トークンを最大60%削減しました。
ただし、効率を高める過程で、性能の低下も一部見られました。ソフトウェアのエラー修正評価では、ウルトラファストモードの問題解決率が、比較基準の65.7%から62.0%へと低下しました。これは、作業の種類や最適化レベルによって、処理効率と解決率の間に差が生じ得ることを意味します。
コーディングエージェントを超え、企業向けAIへと拡大
ノータは、今回の技術をコーディングエージェントから始め、企業向けAIエージェントや生成AIサービス全般へと拡大する計画です。
既存のモデルの軽量化とハードウェアの最適化に、エージェントの実行制御を組み合わせることで、顧客が同じコンピューティングリソースでより多くのAIタスクを処理できるようにし、これを最適化ソフトウェアのライセンスおよび技術提供事業へとつなげていくという戦略です。
ノタのキム・テホ最高技術責任者(CTO)は、「AIエージェントが実際の業務に導入されるにつれ、モデルの単純な推論速度よりも、一つのタスクを完了するのに必要な時間と演算コストがより重要になってくる」とし、「ノタは、モデルとGPUの最適化にとどまらず、エージェントの推論と検証のプロセスまで合わせて最適化し、同一のインフラでより多くのAI業務を処理できるよう、技術の範囲を拡大している」と強調しました。
さらに、「今後は、さまざまな企業向けAIエージェントやサービス環境への適用を拡大し、顧客のAI運用コストを削減するとともに、ノータの最適化ソフトウェア事業の領域も広げていく」と付け加えました。