[イーデイリーLee So-Hyun 記者] AI推論の効率化を手掛ける企業 #ノータが、金融業界の閉じたネットワークでも利用可能な人工知能(AI)コーディングエージェント市場の攻略に乗り出します。大規模言語モデル(LLM)を最適化し、同じGPU環境において1分間に処理できるリクエスト数を最大95%増加させ、最初の回答までの待ち時間を半分以下に短縮しました。
ノータは、金融IT企業のドゥベと、金融業界特化型AIコーディングエージェント向けの最適化LLMおよびサーバーの供給契約を締結しました。(写真=ノータ)
ノータは16日、金融IT企業のドゥベと、金融業界に特化したオンプレミス型AIコーディングエージェント事業に向けた最適化LLM・サーバーの供給契約を締結し、納品を完了したと発表しました。
ノータは、ドゥベのAIコーディングエージェントに合わせて、モデルの軽量化や推論・サービング環境の最適化、サーバー構成までを統合して供給します。
最適化の結果、同一のGPU環境において、適用前と比較して1分あたりの処理リクエスト数が約58~95%増加し、回答をリクエストしてから最初のトークンが生成されるまでの時間は半分以下に短縮されました。
同じハードウェアでより多くの同時ユーザーのリクエストを処理できるため、企業の立場からは、AIエージェントの利用者数が増加した際に追加のGPUを導入しなければならないという負担を軽減できるとのことです。
今回の事業は、セキュリティ規制によりクラウドベースの生成AIの活用に制約がある金融機関をターゲットとしています。
金融業界の開発環境では、ソースコードや社内の業務情報を外部に送信することは困難です。ノータとドゥベが提供するAIコーディングエージェントは、顧客企業の社内サーバー上でLLMを実行するオンプレミス方式で運用されます。
外部のAI APIを呼び出さないため、ソースコードや社内の開発情報などを外部に送信することなく、AIを活用することができます。
ドゥベのAIコーディングエージェントは、開発要件の分析・整理から画面やインターフェースの開発など、開発関連業務をサポートします。各金融機関のコーディングルールや社内ライブラリも反映させることができます。
ノタは、1回のリクエストで大量のコードや開発指針を処理しなければならないコーディングエージェントの特性に合わせて、最適化技術を適用しました。
数万個のトークンを含むリクエストが繰り返され、同時接続ユーザーが増えると、GPUのメモリ使用量が増加し、応答速度が低下する可能性があります。
ノータは、量子化技術を通じてLLMのメモリ使用量を削減すると同時に、回答を生成する推論プロセスと、複数のリクエストを同時に処理するサービング環境を併せて最適化しました。
今回の契約を機に、ノタとドゥベは、金融業界の顧客に対し、オンプレミス型AIコーディングエージェントの導入を共同で提案する予定です。顧客ごとのユーザー規模やセキュリティ・運用環境に合わせて、最適化されたLLMとサーバーの提供も拡大します。
Notaは、金融業界だけでなく、外部クラウドの利用が制限されている他の産業へも、AI推論・サービング最適化事業を拡大する計画です。
ノタのチェ・ミョンス代表は、「企業向けAIエージェント市場が拡大する中、モデルの性能だけでなく、限られたGPUリソースでどれだけのリクエストを安定して処理できるかが、実際の導入コストと運用効率を決定する重要な要素となっています」と述べ、「今回の契約は、ノタのAIモデル軽量化および推論・サービング最適化技術を、実際の企業向けAIアプリケーションと組み合わせて提供するという点で大きな意義があります」と語りました。
さらに、「金融業界のように、セキュリティやインフラ運用の制約が厳しい環境でも、AIエージェントを効率的に活用できるよう支援し、様々な産業パートナーと協力して、最適化ソフトウェアおよびAI実行環境の提供事業を拡大していく」と明らかにしました。
ノータは16日、金融IT企業のドゥベと、金融業界に特化したオンプレミス型AIコーディングエージェント事業に向けた最適化LLM・サーバーの供給契約を締結し、納品を完了したと発表しました。
ノータは、ドゥベのAIコーディングエージェントに合わせて、モデルの軽量化や推論・サービング環境の最適化、サーバー構成までを統合して供給します。
最適化の結果、同一のGPU環境において、適用前と比較して1分あたりの処理リクエスト数が約58~95%増加し、回答をリクエストしてから最初のトークンが生成されるまでの時間は半分以下に短縮されました。
同じハードウェアでより多くの同時ユーザーのリクエストを処理できるため、企業の立場からは、AIエージェントの利用者数が増加した際に追加のGPUを導入しなければならないという負担を軽減できるとのことです。
外部APIなしで内部サーバー上でLLMを稼働
今回の事業は、セキュリティ規制によりクラウドベースの生成AIの活用に制約がある金融機関をターゲットとしています。
金融業界の開発環境では、ソースコードや社内の業務情報を外部に送信することは困難です。ノータとドゥベが提供するAIコーディングエージェントは、顧客企業の社内サーバー上でLLMを実行するオンプレミス方式で運用されます。
外部のAI APIを呼び出さないため、ソースコードや社内の開発情報などを外部に送信することなく、AIを活用することができます。
ドゥベのAIコーディングエージェントは、開発要件の分析・整理から画面やインターフェースの開発など、開発関連業務をサポートします。各金融機関のコーディングルールや社内ライブラリも反映させることができます。
数万トークンのリクエストでもGPU効率を向上
ノタは、1回のリクエストで大量のコードや開発指針を処理しなければならないコーディングエージェントの特性に合わせて、最適化技術を適用しました。
数万個のトークンを含むリクエストが繰り返され、同時接続ユーザーが増えると、GPUのメモリ使用量が増加し、応答速度が低下する可能性があります。
ノータは、量子化技術を通じてLLMのメモリ使用量を削減すると同時に、回答を生成する推論プロセスと、複数のリクエストを同時に処理するサービング環境を併せて最適化しました。
今回の契約を機に、ノタとドゥベは、金融業界の顧客に対し、オンプレミス型AIコーディングエージェントの導入を共同で提案する予定です。顧客ごとのユーザー規模やセキュリティ・運用環境に合わせて、最適化されたLLMとサーバーの提供も拡大します。
Notaは、金融業界だけでなく、外部クラウドの利用が制限されている他の産業へも、AI推論・サービング最適化事業を拡大する計画です。
ノタのチェ・ミョンス代表は、「企業向けAIエージェント市場が拡大する中、モデルの性能だけでなく、限られたGPUリソースでどれだけのリクエストを安定して処理できるかが、実際の導入コストと運用効率を決定する重要な要素となっています」と述べ、「今回の契約は、ノタのAIモデル軽量化および推論・サービング最適化技術を、実際の企業向けAIアプリケーションと組み合わせて提供するという点で大きな意義があります」と語りました。
さらに、「金融業界のように、セキュリティやインフラ運用の制約が厳しい環境でも、AIエージェントを効率的に活用できるよう支援し、様々な産業パートナーと協力して、最適化ソフトウェアおよびAI実行環境の提供事業を拡大していく」と明らかにしました。