[イーデイリーKim Hyun-ah 記者] 独自のAIファウンデーションモデル（ドクパモ）の第2回評価結果を見て、真っ先に浮かんだのは「これで合っているのか」という疑問でした。

政府の依頼により、グローバルAIモデル評価機関であるアーティフィシャル・アナリシス（AA）が実施した人工知能総合指標（AAII）で47点を獲得し、国内企業中1位、グローバル10位を記録したモティフ・テクノロジーズが、最終的に脱落してしまったからです。

一方、AAIIで31点を獲得したLG Corp.(003550) AI研究院は、第3次評価に進出しました。アップステージは37点、SKTelecom(017670)は35点を記録しました。

ところが、イデイリーが入手した詳細な評価結果を見ると、モティフが脱落した背景がより鮮明になります。

モティフはベンチマークで24.6点、専門家評価で27.1点を獲得しました。しかし、ユーザー評価では14.1点にとどまりました。専門ユーザー評価は8.4点、一般国民評価は5.7点です。

総合得点は65.8点でした。グローバルな技術力を測定するAAIIでは国内の競合他社をすべて上回りましたが、ユーザー評価での劣勢が最終的な落選に影響を与えたことになります。

政府もまた、モティフの技術力は優れていたものの、使いやすさや実際の活用性において相対的に低い評価を受けたことが、落選に影響したと説明しました。

それでは、問わざるを得ません。

「ドクパモ」事業の本質とは何でしょうか。世界レベルのファウンデーションモデルを開発する企業を探すことなのでしょうか、それとも今すぐに最も有効に活用できるAIを選ぶことなのでしょうか。

AAII 47点が最終評価では11.75点に下がる

「ドクパモ」の評価は、ベンチマーク40点、専門家評価35点、ユーザー評価25点など、合計100点で構成されていました。このうち、AAIIはベンチマーク40点のうち25点を占めています。

AAIIの原点は、モティフが47点、アップステージが37点、SKテレコムが35点、LG AI研究院が31点でした。

これを25点満点に換算すると、モティフは11.75点、アップステージは9.25点、SKテレコムは8.75点、LGは7.75点となります。

AAIIの原点数におけるモティフとLGの差は16点です。しかし、最終評価に反映される点数の差は4点に縮小します。ここにNIAの評価15点が加わり、ベンチマーク全体の合計は40点となります。

グローバル技術力評価で大きな差がついたとしても、最終評価ではその差が大幅に縮小される仕組みとなっています。

一方、専門家評価35点とユーザー評価25点など、計60点については、モデル自体の性能だけでなく、実際の活用性や波及力などに対する評価が大きく作用します。

今回のモティーフの事例は、この配点構造が結果をどれほど大きく左右し得るかを示しています。

あるAI専門家は、今回の評価結果について「真のユーザビリティスコアで勝敗が決まるようにしたのに、これではおかしいのではないか」と述べ、ドクパモ事業の趣旨を問い直しました。

同氏は特に、「使いやすさを重視するなら、単にオープンウェイトモデルを使えばよい」と述べ、使いやすさはモデルの性能が一定水準以上にある場合に付加的に考慮すべき要素であるという趣旨で指摘しました。

「使いやすさ」はモデル開発の本質なのか

？ もちろん、使いやすさや活用性の評価自体が間違っているという意味ではありません。

技術力が実際のサービスや産業現場に結びついているかを検証することは、国家AI事業においても重要です。問題は、その比重です。

使い勝手が良いということは、必ずしもモデル自体の性能が優れているという意味ではありません。モデルの上にどのようなサービス環境やツール、いわゆるハーネス（harness）を構築するかによって、結果が変わってくる可能性があるからです。

逆に、ファウンデーションモデルの性能が世界的な水準に達したのであれば、これをどのようにサービス化するかについては、今後の課題と見なすこともできるでしょう。

特に、モティーフのように30人余りの少人数でグローバルレベルのモデル性能を生み出したスタートアップと、大規模な組織や顧客基盤を持つ競合他社の活用性を、同じ物差しで評価することが適切かどうかについても検討する必要があります。

今回の第2次評価では、波及効果および貢献計画の配点も、従来の10点から15点に増えました。

重要なのは、モティフの落選が不当だという結論を下すことではありません。

グローバルトップティアのモデルでさえ50点を超えるのが難しいAAII評価において、47点でグローバル競争力を実証した企業のモデルが、ユーザー評価の14.1点という理由で脱落することになるような配点構造が、果たして「ドクパモ」の事業目的に合致していたのかということです。

さらに、専門家評価35点とユーザー評価25点など、全体100点のうち60点が定性的な判断の影響を大きく受ける領域です。

これほどの比重であれば、評価基準や詳細項目、評価委員ごとの点数、最終的な換算方式まで公開すべきです。そうして初めて、どの項目でモティフと競合他社の点数に差が生じ、その差が最終的な脱落にどれほど影響を与えたのかを検証することができます。

必要なのは「企業の救済」ではなく、評価の検証です

科学技術情報通信部は、第2次評価の結果を各企業に通知しており、異議申し立ておよび釈明の手続きを進める予定です。

モティフ社もまた、この手続きを通じて、ベンチマーク・NIA・専門家・ユーザー評価の原点数と詳細な算出式を確認する必要があります。

評価に問題がなければ、政府が公開すればよいのです。逆に、企業が事前に予測しにくい配点や評価基準があったのであれば、改善すべきです。

今回の論争を、モティフとLGの勝敗の問題としてのみ見る必要もありません。

今後、数千億ウォン、さらには数兆ウォンの税金が投入される国家AI事業において、技術力をどこまで重視するか、使いやすさや活用性をどこまで反映するかは、政策的な選択です。

ただし、配点はすなわち事業の方向性を示すものです。

世界的なファウンデーションモデルを作ると言いながら、肝心のモデル性能よりも使いやすさの評価が結果に大きな影響を与える構造であるならば、果たして何のための国家AI事業なのかを改めて問わなければなりません。

企業が評価基準を信頼して開発戦略を立てられるようにすべきであり、結果が出た後は、誰もがその結果を検証できるようにしなければなりません。

国家代表AI事業に必要なのは、世界的なモデルを作ろうとする企業が信頼して競争できる評価です。

今回の「ドクパモ」をめぐる論争で、真に振り返るべきなのは、モティフの脱落そのものではありません。その脱落を生み出した「配点設計」が、果たして「ドクパモ」の目的に合致していたのか、という点です。