[パク・ヨンフ／視点デザイナー] 科学技術情報通信省が18日に発表した「独自人工知能（AI）ファウンデーションモデル」（独パモ）開発事業の第2次評価結果は、表面的には明確です。LG Corp.(003550) AI研究院、SKTelecom(017670) 、アップステージが次の段階に進出し、モティフ・テクノロジーズは脱落しました。しかし、発表内容を詳しく見てみると、明らかなのは「誰が残ったか」だけなのです。 「なぜそうなったのか」については、依然として数値で検証することが難しいのです。

今回の評価は、ベンチマーク（40点）、専門家評価（35点）、利用者評価（25点）の3項目を総合して行われました。ベンチマーク評価における4チームの平均は22.5点で、1位と4位の差は4.0点でした。 専門家評価は平均28.8点で差は2.4点、利用者評価は平均17.6点で差は5.0点でした。3つの項目の中で差が最も大きかったのは、利用者評価です。

ベンチマーク1位が脱落しました

数値をさらに詳しく見てみると、今回の発表で最も注目すべき点は「差」ではなく「逆転」です。 モティフ・テクノロジーズの「Motif 3」は、グローバルAI性能指数であるAAII（アーティフィシャル・アナリシス・インテリジェンス・インデックス）で47点を獲得し、4チーム中1位、全世界のモデル基準で10位にランクインしました。アップステージ（37点）・SKテレコム（35点）・LG AI研究院（31点）を圧倒する成績です。

それにもかかわらず、モティフは脱落しました。これは、国内のベンチマークテストおよび専門家・ユーザー評価において、1次評価を通過した3チームを上回ることができなかったことによるものと見られます。政府は、3つの評価領域ごとに1位となったチームがすべて異なり、一貫して1位を維持した企業はなかったと説明しました。 最高のグローバルベンチマーク性能を持つチームが、「使いやすさ」と「活用性」という壁に阻まれて脱落したのです。これが、今回の第2次評価の実質的なストーリーです。

AAIIの16点差は、なぜベンチマークでは4点差にまで縮まったのか

ところで、ここには納得しがたい数字が一つあります。AAIIの原点数において、1位のモティフ（47点）と4位のLG（31点）の差は実に16点であるのに対し、肝心のベンチマーク評価（40点）における1位と4位の差は4.0点にとどまっています。16点もの性能差が、4点へと急激に縮小したのです。

その秘密は、ベンチマーク40点の内部構成にあります。ベンチマークは、AAII（25点）と韓国知能情報社会振興院（NIA）独自の評価（15点）の合計です。 AAIIがエージェント・コーディング・一般・科学的推論など、グローバルな性能を測る指標であるのに対し、NIAは数学・知識・長文理解・韓国語・安全性・信頼性を測ります。性質が全く異なる2つの物差しが、一つの袋に混ざり合っているようなものです。 モティフがAAIIで1位を記録したにもかかわらず、総合ベンチマークの差が4点に縮まったとすれば、グローバル性能で築いた優位性を、NIAの国内言語・安全性領域で相当部分失った可能性が高いです。政府自身が「3つの評価領域ごとに1位がすべて異なっていた」と述べたことも、AAIIで1位のモティフが、総合ベンチマークでは1位ではなかった可能性があることを示唆しています。

問題は、この「16点→4点への縮小」が、正確にどの項目で、どのような計算式を経て生じたのかを検証できない点にあります。政府は、チームごとの詳細得点とAAIIの原点を25点満点に換算する換算式を公開しませんでした。ベンチマークの差がどれほど小さかったかは明らかにしながらも、その差がNIAの得点によるものなのか、換算式の特性によるものなのかを数字で検証する道を閉ざしてしまったのです。

点数はなく、差だけがある

注目すべきは、科学技術情報通信部が個々のチームの実際の総合点数を公開しなかったという点です。平均と1位～4位の差だけが提示されたため、モティフが3位のチームと僅差で敗れたのか、それとも圧倒的に遅れをとったのかは分かりません。 AAIIの原点数のように一部の指標は公開されましたが、落選を決定づけた総合点数の重みについては、数字で確認する術がありません。「総合評価最下位」という表現は順位しか示さず、その差がどれほど小さかったかまでは教えてくれません。

このような非公開の方式は、異議申し立てや論争を避けようとする選択である可能性もありますが、国家予算が投入される事業において、落選の理由を数字で検証する道を閉ざしているという点そのものが、取材の対象となります。ただし、公正性の問題だけに帰するわけにはいかず、政府が提示した釈明もあります。 科学技術情報通信部は、一部の参加企業による「ベンチマックス」疑惑について、AAIIの運営会社であるアーティフィシャル・アナリシスに公式確認を依頼し、「体系的な暗記や過適応の問題が立証される手がかりは見つからなかった」という回答を得たと明らかにしました。ベンチマックスとは、特定のテストセットや評価方式に合わせてモデルを過度に最適化することです。

各項目ごとの差が僅差であるため、特定の項目が決定的だったとは見なしにくいというのが、政府の補足説明です。得点の非公開をめぐる批判の点は妥当ですが、その背景も併せて考慮して初めて、バランスが取れると言えます。

「再現性と説明責任を確認してほしい」――メディアによる公式な公開要求

業界からも、詳細な評価資料の公開を公式に求める声が上がりました。イーデイリーの報道によると、政府の「僅差」という説明だけでは結果の算出過程を検証できないとして、以下の9項目の公開を求める情報提供が寄せられました。 ① 4チームの詳細項目別得点と最終順位、② AAII・NIAの原得点の換算式、 ③ 専門家評価委員の選定および利益相反排除の手続き、④ 匿名化された専門家評価点数の分布、⑤ 専門ユーザー・国民評価のブラインド実施の有無、⑥ 評価項目とモデルの提示順序、⑦ 重複参加防止の方法、⑧ 3位と4位の実際の総点差、⑨ 異議申し立て手続きです。

情報提供者は、「結果を覆してほしいという趣旨ではなく、国民の税金が使われた国家代表AI選抜過程の再現性と説明責任を確認してほしいという趣旨だ」と明らかにしました。要求項目の性質を見れば、この発言の重みが浮き彫りになります。ここで言及された9つの項目は、特定の結果を覆すことではなく、科学的な実験における「再現可能性（reproducibility）」を確認するための最低限の条件です。

原点数と換算式を公開すれば、この記事が指摘した「AAII 16点→ベンチマーク 4点への圧縮」という構造を外部から検証することができ、評価委員の利益相反排除手続きやブラインド実施の有無は、専門家・利用者評価の信頼性を、 モデルの提示順序や重複参加防止の仕組みは利用者評価の偏りを抑制し、3位と4位の実際の合計点差は落選の重みを、それぞれ検証できるようにします。このうちどれか一つでも公開されれば、これまでの「平均と格差」という曖昧な記述は、はるかに確固たる数値に置き換えられます。

言い換えれば、現在公開されていないこの9つの項目こそが、今回の評価におけるブラックボックスなのです。政府が「公正だ」と主張する根拠はあっても、国民が「公正かどうか」を自ら確認する根拠は、このリストが公開されて初めて生まれるのです。

「モデル競争」と呼ばれていますが、専門家評価は事実上、事業評価です

品質をめぐる論争のもう一つの軸は、専門家評価（35点）です。 政府が報道資料として公開した評価委員会の意見によると、アップステージは「開発成果を国民が実感できるよう、ポータル『Daum』や『Timely』プラットフォームと連携して推進」した点と、「Furiosa AIのNPUとの協業を通じた海外製ハードウェアへの依存度の緩和」が、SKテレコムは「国防分野向けA.X K1モデルの提供、製造産業に特化したエージェントの実証、 法務・税務分野での実演」が、LG AI研究院は「グローバルな国際機関との協業戦略の策定」と「エージェント型AIの差別化」が、それぞれ高く評価されたと明らかにしました。

ここで実際に「モデル自体の性能」を直接評価した点は、SKテレコムの「数学的推論と韓国語領域における比較群中最上位の性能」程度に過ぎません。 残りは、プラットフォーム連携、ハードウェアの国産化、産業実証、グローバル協業戦略、安全・信頼体制など、「事業拡大戦略」に近い内容です。実際、専門家評価の評価項目は、「開発戦略および技術、開発成果および計画、波及効果および貢献計画」と定められています。性能を測るベンチマークではなく、開発戦略と事業計画を問う項目だという意味です。

これは、「モデル競争」と呼ばれる独破模の正体を改めて考えさせられます。総点100点のうち、純粋にモデルの性能を問うのはベンチマークの40点のみで、残りの60点（専門家35点＋利用者25点）は戦略・普及・体感に割り当てられています。 AAIIの性能1位だったモティフが脱落したのも、この構造と無関係ではありません。競争の名は「AIモデル」ですが、評価の半分以上がモデルの能力ではなく、「どのように普及させ、誰と手を組み、どの産業に応用するか」を問うているからです。

利用者評価25点、しかし顧客接点の扉は閉ざされていた

モティフの脱落を理解するには、評価設計とコンソーシアム構成の入り組んだ関係にも目を向ける必要があります。筆者の知る限り、モティフは「みんなのAI」コンソーシアムの構成過程において、顧客接点を確保するためにカカオと手を組もうとしていました。 国内最大のメッセンジャーであるカカオトークの圧倒的な加入者基盤を、AIサービスの実際のユーザー基盤として活用しようという判断でした。しかし、政府はモティフに対し、1社だけでコンソーシアムを構成するよう制限したとのことです。モティフは当初希望していた2社ではなく、KT1社と手を組まざるを得ず、カカオという最大の顧客接点はコンソーシアムの外へと押し出されてしまいました。··

まさにこの点において、配点構造が真っ向から矛盾しています。今回の第2次評価における利用者評価（25点）は、AI専門ユーザー49名と一般国民185名がサービスを実際に利用して付けた点数です。 政府が利用者の反応と実際の使いやすさをそれほど重視していたのであれば、顧客接点が最も多いカカオとの協業まで許可し、KTがモティフやアップステージと提携したように、2社体制でコンソーシアムを拡大してあげるべきでした。そうしてこそ論理が成り立ちます。大規模なユーザー基盤を持つパートナーなしで評価に臨ませた上で、その使いやすさと体感品質を25点もの比重で評価したことは、互いに矛盾する基準です。

大規模な顧客接点を確保できないまま利用者評価に臨んだモティーフが後れを取り、その格差（5.0点）が3項目の中で唯一、ベンチマーク（4.0点）・専門家（2.4点）を上回り、最も大きかったという事実は、この構造的な不利と整合的です。 ベンチマークの性能だけでは合格が保証されない評価設計の中で、そもそもユーザーとの接点を広げる機会を制度的に遮断したまま、「利用者評価」によって落選を決定するのであれば、その落選の責任をすべてモティフの技術のせいだけに帰することは困難です。この点についても、前述の「詳細資料の公開要求」が貫徹されない限り、政府の説明だけでは解消されません。

「進出」の実態とは何でしょうか？

最後に、LG・SKT・アップステージが「次の段階で最終競争を続ける」という文言が、実際に何を意味するのかについても指摘しなければなりません。政府は、第3次評価を経て来年初めに最終2チームを選定する計画であると明らかにしました。最終選定チーム数は公開されました。 しかし、予算がチームごとにどのように配分されるのか、脱落した「モティーフ」に割り当てられていた資源が残りのチームにどのように再配分されるのかなど、資金の流れの詳細な構造については依然として説明されていません。性能競争のスポットライトの裏側で、国民の税金が残りのチームにどのような形で流れ込むのかという問いに対する答えは空白のままです。三つ巴の争いを報じるニュースがその点まで掘り下げて初めて、「国家代表AI」という言葉が成立するのです。

詳細な得点も、換算式も、評価委員の選定手続きも、異議申し立ての窓口も、資金の再配分方法も、すべてが明らかにされていない現状において、残されているのはただ一つです。 「わずかな差だった」という政府の発言と、「そのわずかな差を再現可能に示してほしい」という業界・国民の要求です。今回の発表が、国家代表AI選抜の「結果」として残るか、それとも国家予算がどのように審査されるかについての「疑問の出発点」として残るかは、この要求に対する政府の次の回答によって決まるでしょう。