ナレッジセンター
目次

都市級AI推論プラットフォームのハードウェア選定

都市級AI推論プラットフォームのハードウェア選定で今もっとも重要なのは、ピーク演算ではなく、ワットあたりの推論スループットとメモリ帯域が複数の映像ストリームの同時解析を支えられるかどうかである。この2年、各地のインテリジェントコンピューティングセンターは学習カードの積み上げに忙しかったが、現在の日常運用で主流なのは映像解析、交通流予測、事象検出といった推論のワークロードであり、ハードウェア選定の論理は変わった。

1. 中核概念と技術原理

都市級AI推論プラットフォームは、単体の推論サーバーとは異なる。数千本の映像ストリームを取り込み、数十のアルゴリズムモデルを同時に動かす必要があり、ハードウェアへの要求は主に3点に集約される。第一はメモリ帯域である。デコードされた映像のテンソルは絶えずGPUとメモリの間を行き来し、HBM2eとHBM3の差は並行チャンネル数に直接現れる。第二は低精度推論の能力で、INT8やFP8のスループットはFP16の数倍に達することが多く、都市の映像解析は精度への敏感度が低いため、精度をチャンネル数に替えるのは標準的な手法である。第三はコーデックのユニットで、演算コアから独立したハードウェアデコーダは演算を大幅に節約する。NVIDIAのNVDECやIntelのQuick Syncはいずれもこの種の設計である。CPU側ではPCIeのレーン数が重要で、カード間でデータが詰まらないようにする。

2. 主流製品とソリューションの比較

都市級推論プラットフォームの演算基盤には現在、3つの主要な路線がある。一つは汎用GPU路線で、NVIDIAのBlackwell Ultra(GB300)はHBM4メモリと非常に高いカードあたりのメモリ帯域で推論性能を重視し、映像チャンネルが稠密な大規模ノードに適する。AMDのMI350/MI400シリーズはCDNA4アーキテクチャと3nmプロセスでメモリ容量に優位を持ち、大規模モデル推論のシナリオでの競争力が上がっている。もう一つは専用アクセラレータ路線で、IntelのGaudiシリーズはエネルギー効率とオープンな生態系を重視し、18AプロセスのPanther Lakeプラットフォームと合わせて、電力に敏感で単一ベンダーへの囲い込みを避けたい都市プロジェクトに適する。第三はエッジ側のNPU路線で、Qualcomm、MediaTek、Appleなどの高演算・低電力NPUチップがAI PCやAIスマートフォンの演算を数十TOPSの水準まで押し上げ、都市のエッジ推論ボックス、スマート街路灯、車載装置がこうしたチップをフロントエンドの前処理に使い、構造化結果をセンターへ返してバックボーンの圧力を減らし始めている。3つの路線は互いの代替ではなく、都市級プラットフォームは通常、センターでGPUや専用アクセラレータが重い推論を担い、エッジでNPUが軽量なフィルタリングを担う。

3. スマートシティAIハードウェアの典型的な応用シナリオ

交通の交差点は典型的なシナリオである。ある市街区に800の交差点があり、それぞれ6本の映像チャンネルを持つとする。すべてをセンターへ戻すのは現実的でないため、通常はエッジ推論モジュールがフロントエンドでナンバープレート認識と事象の一次選別を行い、中央プラットフォームは疑わしいクリップと全体の交通流予測のみを扱う。電子工場周辺の園区道路もこの階層型アーキテクチャを採り、エッジボックスが軽量モデルを動かし、センターが軌跡の再構成を行う。路上販売の占用検出や工事車両の識別といった都市管理のタスクではアルゴリズムの反復が速く、推論プラットフォームはコンテナ化された配備とモデルのホット更新に対応する必要があるため、ハードウェア選定ではメモリが複数のモデル版を同時に保持できるかを確認しなければならない。産業側のイベントカメラやスマートビジョンセンサーも都市のセキュリティに入り始めており、こうしたセンサーは全フレームではなくイベントストリームを出力するため、後段の推論プラットフォームのインターフェース互換性に新たな要求を課す。

4. 選定基準と配備の推奨

カードを選ぶ前にチャンネル数を計算する。接続する映像チャンネル数、1チャンネルあたりのフレームレート、アルゴリズムの複雑さを推論スループットの総需要に換算し、30%の余裕を残す。単体カードの仕様だけを見ず、シャーシの冷却と電力の冗長性も見る。都市級プラットフォームは24時間365日フル稼働することが多いからである。メモリ帯域はピーク演算より優先する。映像推論のシナリオでは演算不足より帯域不足のほうがよく起きる。コーデックのチャンネル上限にも注意する。演算は足りてもデコードのチャンネルが少なすぎて実際の並行数を満たせないカードが多い。ソフトウェアスタックの成熟度も同じくらい重要で、推論フレームワークの主要モデルへの適配の程度や、マルチカード・マルチモデルの並行に対応しているかが、立ち上げまでの時間を直接左右する。配備では中央ノードとエッジノードを層で計画し、センターには大容量メモリのGPUや専用アクセラレータ、エッジには低電力NPUモジュールを選び、標準プロトコルで接続する。15以上の業界で120社超の顧客がいる配備では、階層型アーキテクチャの運用コストは完全集中より明確に低い。

5. 技術動向と今後の展望

2026年前後、HBM4が徐々に立ち上がり、カードあたりのメモリ帯域がもう一段上がって、都市級プラットフォームが同時に動かせる映像チャンネル数が増える。チップレット設計により、アクセラレータのベンダーは演算ダイとIOダイを柔軟に組み合わせられるようになり、選定の軸がもう一つ増える。エッジNPUの演算は上がり続け、フロントエンドでできる推論がますます増えるため、センターの圧力の構造は映像のデコードからクロスモーダルな融合解析へ移る。オープンな生態系の命令セットとソフトウェアスタックも成熟し、都市プロジェクトの単一ベンダーへの依存が減る。全体として、都市級AI推論プラットフォームのハードウェア選定は、演算の積み上げから、演算、帯域、エネルギー効率、生態系のバランスへ移りつつあり、シナリオごとに層を分けて構成するほうが、一律に最も高価なカードを買うより費用対効果が高い。

分野: AIハードウェア百科