都市レベルのAI推論プラットフォームのハードウェア選定は、ひとことで言えばこうである。訓練カードを推論プールに積み上げるのではなく、ワットあたりのスループット、メモリ帯域、センサーの直接接続を見ること。今日のスマートシティプロジェクトは数千本の映像ストリームと数百のエッジノードを接続する必要があることが多く、ハードウェアアーキテクチャを誤ると、後で電気代とレイテンシが予算を食いつぶす。
1. 中核概念と技術原理
都市レベルのAI推論プラットフォームは、単体マシンの推論とはまったく別物である。映像ストリームの構造化、レーダーと視覚の融合知覚、自然言語によるチケット分類、信号の時間配分最適化など、数十のモデルを同時に扱わなければならない。重要な指標はピーク演算ではなく実効スループット、すなわち与えられた電力とレイテンシの制約下で毎秒どれだけ正確な推論を完了できるかである。
推論ハードウェアは3つの階層に分かれる。データセンタークラスのGPUやアクセラレーター、エッジのNPUボックス、センサー側のニューロモルフィックチップである。データセンター層は重いビジョン基盤モデルとカメラをまたぐ軌跡の接続を担い、エッジNPUはローカルの小型モデルとリアルタイムのフィルタリングを担い、センサー側はイベントのトリガーを担う。3者はメッセージキューと共有メモリで結ばれ、帯域を奪い合ってはならない。
NVIDIAの最新ロードマップは注目に値する。Blackwell UltraはFP4の推論精度を強化し、HBM4メモリは帯域を新たな水準へ押し上げ、Rubinアーキテクチャは年次反復へ移る。これは推論カードのメモリウォール問題が緩和される一方で、電力密度が上がり続けることを意味する。AMDのInstinct MI350/MI400はCDNA4と3nmを用い、明確なコストパフォーマンス路線で、大容量メモリを必要とする予算に敏感な映像分析プールに適する。Intel Gaudi 3はオープンなエコシステム路線を採り、すでにx86インフラを持つスマートシティプラットフォームでのヘテロジニアスな混在配備に適する。
2. 主流製品とソリューションの比較
都市レベルの推論プールは現在、3つの主流形態を取る。
第一は純粋なGPU推論クラスターで、1台に8枚または16枚のカードを搭載し、高帯域のHBMを備える。多ストリーム4K映像のデコードにYOLOシリーズとReIDモデルを組み合わせて動かすのに適する。利点はエコシステムが成熟し、TensorRTとTriton推論サーバーがすぐに使えることである。欠点は消費電力が大きく、1ラックあたり20kWを超えるため、旧機械室の改造が難しい。
第二はNPUエッジ推論アレイである。各エッジボックスは15~40Wで40~60 TOPSを提供し、交差点キャビネットや街路灯に直接設置できる。軽量な検出と分類を実行し、構造化結果のみを中央へ戻す。AI PCで使われるのと同じNPUが現在では産業用エッジ機器へ広く統合され、70億パラメータまでのモデルのローカル推論、たとえば交通事故の記述生成をサポートする。
第三はヘテロジニアスな混在配備である。中央は重いモデルとモデルオーケストレーションにGPUを使い、エッジNPUは常駐する小型モデルを動かし、AIセンサーがハードウェアレベルのイベントトリガーを提供する。ある電子工場はキャンパス外周にミリ波レーダー、イベントカメラ、低消費電力NPUを配備し、異常な振動と侵入軌跡についてのみ推論を実行したため、中央GPUの負荷が目に見えて下がった。自動車部品企業が構内の物流車両をスケジューリングする場合、エッジNPUが視覚による位置決めを、中央GPUが全体の経路計画を担い、中央集約型の設計に比べて帯域を半分節約できる。
3. スマートシティAIハードウェアの典型的な応用場面
交通交差点のホログラフィック知覚。イベントカメラが急な車線変更を捉え、ミリ波レーダーが距離と速度を測定し、NPUがローカルで融合して構造化軌跡のみをアップロードし、中央の推論プラットフォームが交差点をまたぐグリーンウェーブを最適化する。こうした場面ではセンサー側のニューロモルフィックコンピューティングによってレイテンシをミリ秒級まで下げられる。
都市ガバナンスの映像分析。数千本の映像ストリームを同時に検査し、違法な路上販売、ごみの堆積、違法駐車を見つける必要がある。エッジNPUがまず事象のないフレームの9割をふるい落とし、中央GPUは疑わしいクリップのみを処理する。この階層型アーキテクチャを採用した地級市のプラットフォームは、推論カードの枚数を40%削減した。
産業エッジの品質検査。ラインのカメラと低消費電力NPUが表面欠陥スクリーニングの一次処理を行い、中央GPUが難しいサンプルの再検査とモデル反復を担う。AIセンサー融合ソリューションはロボットの誘導や自律走行掃除機にも導入が進んでいる。
4. 選定基準と導入の推奨
まずTOPSだけを見るのではなく、実効スループットの要件を算出する。3つの問いを立てる。同時にいくつのモデルを動かすのか、各映像ストリームの解像度とフレームレートはいくらか、エンドツーエンドのレイテンシ上限はいくらか。そのうえでワットあたりの推論回数でカードを選ぶ。
メモリ帯域は演算以上に重要である。都市レベルの推論プールは映像フレームと特徴マップを絶えず移動させるため、HBM4とGDDR7の差は高密度な場面で2倍の効率差に広がることがある。大容量メモリのAMD MIシリーズは複数の常駐モデルに適し、NVIDIAのエコシステムは高速な反復に適する。
エッジNPUの選定では3点を確認する。ONNXとOpenVINOをサポートするか、ハードウェアのビデオデコードユニットがあるか、コンテナ化された配備をサポートするか。40 TOPSクラスのチップは量子化したYOLOv8や軽量なTransformerには十分だが、1000億パラメータ級のモデルを動かせることを期待してはいけない。
導入は中央でのプール化とエッジでの分割が望ましい。中央は重い負荷と訓練にGPUプールを使い、エッジNPUは交差点や工場エリア単位で分割する。ネットワークにはRDMAやTSNを使い、確定的なレイテンシを保証する。電力と冷却は1ラックあたり25kWを見込み、スマートシティの機械室では空冷から液冷への切り替えが一般化しつつある。
5. 技術動向と展望
推論ハードウェアは汎用から専用へ移っている。NVIDIA RubinとAMD MI400はいずれも推論専用ユニットを強化し、HBM4が普及すればメモリウォールはさらに緩む。Intel Falcon Shoresがオープンなエコシステムを築ければ、スマートシティプロジェクトのヘテロジニアスな選択肢は増える。
エッジNPUの統合はさらに進み、AI PCと同じチップが産業用ボックスへ移り、60 TOPSが徐々に標準になる。イベントカメラ、ミリ波、ニューロモルフィックコンピューティングを融合したAIセンサーは、ロボティクスと自動運転で先に規模化する。
都市レベルのプラットフォームにとって、今後2年の選定論理は「最強のカードを買う」から「最適なメモリ帯域とエネルギー効率を買う」へ移る。推論プールの年次反復が速まるということは、調達は単体カードのピーク性能よりも、ソフトウェア互換性と世代をまたぐ移行コストに注目すべきだということである。