ナレッジセンター
目次

都市レベルのAI推論プラットフォームのハードウェア選定

都市レベルのAI推論プラットフォームのハードウェア選定についての結論は、中央の大規模演算プールとエッジ推論ノードによる異種の階層型路線を取ることであり、すべてのGPUを機器室に積み上げることではない。中央側は広帯域メモリを持つ推論アクセラレータカードで大規模モデルと多ストリーム動画の構造化を担い、エッジ側はNPUを備えたAI PCクラスのチップや専用推論ボックスで低遅延の前処理とローカル閉ループを担い、両者を統一された推論ランタイムとコンテナオーケストレーションで接続する。NVIDIA、AMD、Intelのハードウェア路線が並行して走る現在、この構造は単一路線よりもリスクに強い。

1. 都市レベルのAI推論プラットフォームが実際に解決する課題

学習ではなく、学習済みの視覚・音声・マルチモーダルモデルを数十から数万台のカメラにわたって安定して動かし、遅延、電力、機器室の空間を抑えることである。中規模都市の交差点動画、チェックポイント画像、キャンパス周辺、バス停の音声案内は絶え間ない推論要求を生む。学習はピーク演算を見るが、推論はワットあたり性能、メモリ容量、同時スケジューリングの効率を見る。都市レベルのプラットフォームには特殊な制約もある。データをすべて返すことはできず、多くの判断は現場で下し、構造化結果と異常クリップのみをクラウドへ上げる。これが階層型のハードウェア選定を自然な選択にしている。

2. 主流の推論ハードウェア路線の違いと比較方法

現在利用できる3つの主軸はそれぞれ重点が異なる。NVIDIAのBlackwell Ultra(GB300)と後継のRubin路線は推論性能とHBM4メモリの強化に賭け、カードあたりのメモリ帯域と容量が多ストリーム高解像度動画の構造化に有利で、中央側の大規模モデル推論と動画解析に適する。AMDのMI350シリーズはCDNA 4アーキテクチャに基づきMI400も控えており、大規模モデル推論でのエネルギー効率を重視し、同じラックの電力予算内でより多くの推論カードを収められ、電力と冷却の余裕が厳しい都市の機器室に適する。IntelはGaudi 3とNPU内蔵のXeon 6でエッジ推論を狙い、Xeon 6のNPUは追加カードなしで汎用サーバーに軽量推論を担わせられる。

比較ではTOPSの数値だけを見てはならない。4つの指標が重要である。メモリ容量は同時に読み込めるモデルインスタンス数を決め、メモリ帯域は動画デコードと特徴比較の速度を決め、ワットあたりの推論スループットは機器室の電気代を決め、ソフトウェアスタックの成熟度はモデル移行のコストを決める。中央側はメモリと帯域を優先し、エッジ側は電力とインターフェースを優先する。混在配備では中央のカードとエッジのNPUが同じモデル形式と量子化方式を共有しなければ、運用が分断される。

3. どのスマートシティのシナリオが本当に必要とするか

区レベルのプラットフォームが3000台のカメラを接続する必要があるとする。交差点の違反認識や群集密度の推定といったタスクはエッジ推論ボックスに置くほうが良く、NPU搭載のボックス1台は十数ワットで支柱の脇に設置して近傍で処理し、構造化された事象のみを返す。カメラ間の車両再識別、マルチモーダル大規模モデルの問答、画像のバッチ二次解析は、逆に中央側の大容量メモリ推論カードに適する。さらに、電子機器工場がキャンパスのセキュリティを構築するとする。ゲートの顔認証改札はAI PCクラスのチップ(Core UltraやRyzen AI 300などNPUを備えたプラットフォーム)でローカル照合し、工場内の外観検査ボックスが欠陥検出を実行し、NPU内蔵のスマート振動・温度センサーがローカルでリアルタイム推論を行い異常のみを報告する。バス停の音声案内と乗客計数はQualcomm Snapdragon Xシリーズのような低消費電力プラットフォームで足りる。判断の要点はこうである。遅延要件が100ミリ秒未満で、データが機密で、ネットワークが不安定なものはエッジへ。大規模モデルによる理解と情報源をまたぐ相関が必要なものは中央へ。

4. 選定と導入で注意すべき点

よくある最初の質問は互換性である。中央の推論カードとエッジのNPUはアーキテクチャが異なることが多く、モデルは量子化(INT8またはFP16)と演算子の適応を経る必要があるため、選定ではまず推論ランタイムがONNXなどのための中間形式をサポートし、特定ベンダーに囲い込まれないかを確認する。第2はメモリと同時実行の関係である。1080Pの動画ストリーム1本の構造化には概ね数百MBから1GBのメモリを使うため、ストリーム数を掛けて係数を適用し30パーセントの余裕を残し、ピークに合わせて構成してはならない。第3は環境要件である。支柱脇のエッジボックスは広温度域(一般にマイナス20度から60度)とIP保護等級を満たす必要があり、機器室側はラックの電力密度を考慮する必要がある。1キャビネットがあるキロワットを超えると冷却の変更が必要になるからである。第4は実施手順で、通常は小規模な試行でモデル変換を検証し、同時実行をストレステストし、戻り経路を確認してからバッチで拡張する。第5はコスト構成である。カードだけでなく、スイッチの帯域、機器室の改修、モデル適応の工数、継続的な電気代を含み、エッジノードが多い場合は運用の工数がハードウェアより高くつくことが多い。業界の一部のベンダーはERP時代から数十年にわたり、国内外の市場で120万社の顧客に数千万台の端末を展開しており、この長年の端末展開の経験はエッジ側の運用にとって参考価値がある。

5. この階層型路線が適する場合と適さない場合

適するシナリオは、動画ストリームが分散して多く、遅延に敏感で、機器室の電力が限られ、従来の視覚モデルと大規模モデルの両方を動かす必要がある都市やキャンパスのプラットフォームである。適さないケースも同様に明確である。すべての推論タスクが1つの機器室に集中し、ストリーム数が数百未満で遅延要件もないなら、単一路線の大容量メモリ推論カードのほうが簡単で、階層化は運用の複雑さを増すだけである。さらに、反射が強く夜間照度が低く変形の大きい動画シナリオでは、エッジボックスの軽量モデルでは精度が足りないことがあり、中央へ戻して二次推論するかを別途評価しなければならない。選定に普遍的な答えはない。まずストリーム数、遅延予算、電力上限を計算し、それから中央とエッジの比率を決める。

分野: AIハードウェア百科