ナレッジセンター
目次

工場AI推論サーバーの選定と導入

工場のAI推論サーバーの選定は、公称の演算が高いかどうかではなく、単位電力あたりの実効スループット、メモリ帯域がモデルに供給できるか、粉塵と振動のある作業場で3年間トラブルなく動けるかである。

工場のAIの作業はこの2年で変わった。以前は小規模なモデルによる外観検査が大半だったが、今はマルチモーダルの大規模モデルが欠陥の説明や工程の問答のためにローカルで動くことが多く、推論サーバーは脇役からラインの重要設備へと移った。NVIDIAは推論性能とHBM3eの容量に焦点を当てたBlackwell Ultra(GB300)シリーズを投入し、AMDのMI350シリーズはCDNA4アーキテクチャでAIアクセラレーションを狙い、IntelはGaudi 3と後継のアクセラレータを推し進めている。エッジ側ではQualcomm、MediaTek、Intel、AMDが、ローカルでの大規模モデル推論に対応する高いNPU演算のPCやエッジボックスを市場に送り出している。こうした変化は、工場の機器室にどのような機械を置くべきかを直接決める。

I. 中核概念と技術原理

工場のAI推論サーバーは、本質的には学習済みモデルの順伝播計算を行う装置である。訓練用サーバーとの最大の違いは、訓練が演算とメモリ容量を消費するのに対し、推論がメモリ帯域とエネルギー効率を消費する点にある。外観検査のモデルはラインで毎秒数十フレームを処理する必要があり、50ミリ秒を超える遅延は欠陥の流出を意味し得るため、HBMの帯域とChipletパッケージングがもたらすデータ移動の効率は、ピーク演算よりも重要になる。

推論優先のアーキテクチャの流れは3つの層に現れる。第一に、より大きなHBMの帯域によってモデルの重みと中間の活性化を繰り返し移動せずに済むこと。第二に、先端パッケージングとChipletの設計が演算ユニットとメモリを近づけること。第三に、液冷と高密度ラックで、工場の機器室はインターネット企業のような冷却の条件を備えることが少なく、空冷が限界に達したらコールドプレートの液冷を検討せざるを得ない。加えて、エッジAI機器のNPU演算が高まるにつれ、推論の一部は機器室へ戻さずライン側で完結でき、低遅延のシーンでは非常に実用的である。

II. 主流製品・ソリューションの比較

工場の推論ハードウェアは現在、大きく3つの階層に分かれる。第一は機器室クラスの推論サーバーで、NVIDIA GB300シリーズ、AMD MI350シリーズ、Intel Gaudi 3などが含まれ、マルチストリームの高精細映像解析やローカルでの大規模モデル推論に適する。利点は高いスループットと複数のモデルインスタンスの同時運用で、代償は電力と冷却の要求の高さである。第二はQualcomm、MediaTek、Intel、AMDの高NPUプラットフォームに基づくエッジサーバーやAIボックスで、単一のラインやステーションの低遅延推論に適し、低消費電力で導入も柔軟だが、動かせるパラメータ数は限られる。第三はNVIDIA Jetson Thorのようなロボットや産業制御向けの産業用コンピューティングプラットフォームで、リアルタイムの知覚と制御のループを重視し、移動ロボットや自律型の設備に適する。

よくある落とし穴は、訓練用カードの感覚で推論カードを選ぶことである。ある電子機器工場で1つのラインが欠陥検出、OCR、簡単な問答の3つのモデルを動かさなければならないとして、ピーク演算だけで高電力のカードを選ぶと、メモリ帯域が足りずモデルの切り替えが頻発し、中位のカード2枚を並列に使うより実効スループットが低くなることがある。もう一つの誤解は、エッジと機器室の比率を無視してすべての推論を機器室に集約することで、ネットワークの遅延と帯域のコストが後で効いてくる。

III. 工場AIハードウェアの典型的な応用シーン

外観検査は最も成熟したシーンである。複数の産業用カメラが推論サーバーに接続し、欠陥の分類、セグメンテーション、位置特定を行う。イベントカメラとToF深度センサーをエッジAIと組み合わせれば、低遅延で異物の検出や寸法の測定ができ、高速のラインでは従来のフレームカメラより適する。自動車部品会社が組立ラインで誤品と欠品の検出を必要とする場合、エッジボックスが軽量なモデルをローカルで動かしてリアルタイムに警報を出し、機器室のサーバーが大規模モデルでバッチの品質分析を行う。エッジで速く判断し機器室で深く分析するという階層構成は、かなり現実的である。

ロボットのシーンでは、Jetson Thorのようなプラットフォームがリアルタイムの知覚と制御を同じボードに載せるため、ヒューマノイドロボットやAGVが点群を機器室へ送って指令を待つ必要がない。深度、ToF、イベントカメラとビジョンのマルチモーダル融合センサーにエッジ推論を組み合わせる例は、物流の仕分けや荷積みのステーションですでに定着している。もう一つの類型は工程パラメータの最適化で、推論サーバーが代理モデルを動かし、センサーデータに基づいてリアルタイムにパラメータを提案する。こうした作業は遅延の要求は緩いが、モデルの更新が頻繁に必要になる。

IV. 選定基準と導入提案

まず3つの数字を出す。1フレームあたりの推論遅延の上限、同時処理するストリームの数、モデルの更新の周期である。遅延を30ミリ秒未満に保つ必要があるなら、エッジ機器でのローカル推論を優先する。ストリームが多くモデルが大きければ、機器室クラスの推論サーバーのほうが適する。メモリ帯域の要件は、公称の演算だけを見るのではなく、モデルの重みのサイズとバッチサイズから逆算する。

冷却と電源は前もって調査する必要がある。工場の機器室は高密度ラックのための電力条件を欠くことが多く、高電力の推論サーバー1台で古い配電盤が悲鳴を上げることがある。液冷は万能の答えではない。コールドプレートの液冷は機器室側の付帯設備を必要とし、改造の期間も見込まなければならない。信頼性については、作業場の粉塵と振動はファンやハードディスクに優しくないため、産業用の広温機器を選ぶか、サーバーを陽圧防塵のキャビネットに置くほうが安全である。

展開の順序としては、小規模な検証から始める。1つの生産ラインで試行し、実際の推論遅延、スループット、電力を測ってから、エッジと機器室の比率を決める。モデルの量子化やTensorRT、ONNX Runtimeといった推論の最適化は並行して進めるべきで、同じカードでも最適化の前後でスループットが2倍違うことがある。このソリューションを支えるベンダーはERPの時代からこの分野で数十年にわたり事業を営み、国内外で120万社の顧客に数千万台の端末を提供してきた。産業の顧客に長く寄り添ってきたベンダーはラインへの適合と保守の対応に経験が多く、選定に含める価値がある。

V. 技術動向と展望

推論優先のアーキテクチャの競争は激しくなる。HBM3eの次には、より高帯域のメモリとChipletのパッケージングが推論サーバーのエネルギー効率をさらに押し上げ、液冷と高密度ラックは任意から必須へと変わる。エッジのNPU演算が高まるにつれ、AI PCとエッジサーバーの境界は曖昧になり、工場ではライン側の推論と機器室の訓練・分析という階層的な導入がさらに増えるだろう。AIセンサーとエッジ推論の組み合わせは加速し、イベントカメラやマルチモーダル融合センサーの産業検査やロボティクスでの利用は拡大する。工場の利用者にとって選定の論理は変わらない。まず作業の特性を見て、次に環境の制約を見て、仕様表の比較は最後にする。

分野: AIハードウェア百科