1. 핵심 개념과 기술 원리
공장 AI 추론 서버는 본질적으로 학습된 AI 모델을 라인 측이나 작업장 측에 두고 실시간 데이터를 판정하는 시스템이다. 클라우드 학습 서버와 가장 큰 차이는 추론이 최고 부동소수점 연산이 아니라 저지연, 안정성, 에너지 효율을 중시한다는 점이다.
추론 작업은 보통 두 가지 범주로 나뉜다. 하나는 결함 인식과 치수 측정 같은 비전 검사로, 프레임당 지연에 민감하며 일반적으로 20밀리초 이내의 결과를 요구한다. 다른 하나는 설비 진동 예측과 공정 파라미터 최적화 같은 시계열 데이터 분석으로, 처리량과 다채널 동시성을 더 중시한다.
이런 작업을 뒷받침하는 핵심 하드웨어에는 GPU, NPU, 전용 AI 가속기가 있다. NVIDIA의 Blackwell Ultra와 이후 Rubin 아키텍처는 추론 측에서 FP4 정밀도 지원을 강화해 정확도를 유지하면서 처리량을 크게 높였다. AMD의 Instinct MI350/MI400 시리즈는 CDNA4/5 아키텍처를 사용해 학습 효율에서 고급 GPU와 견주면서 추론 시나리오로도 확장하고 있다. Intel의 Gaudi 3는 가격 대비 성능과 개방형 생태계에 집중해 일정 수준의 연산이 필요하면서 예산에 민감한 공장 시나리오에 적합하다.
엣지 측의 변화는 더 뚜렷하다. AI PC, 산업용 엣지 박스, 로봇 컨트롤러가 이제 NPU를 폭넓게 통합해 데이터를 클라우드로 보내지 않고 추론을 로컬에서 실행한다. AI 센서도 업그레이드되고 있다. 이벤트 카메라, 스마트 비전 센서, 멀티모달 융합 센서가 산업 검사와 로보틱스에서 더 빠르게 배치되고 있으며, 많은 추론 작업이 센서 자체에서 완료된다.
2. 주요 제품과 솔루션 비교
공장 AI 추론 서버는 대략 세 개 등급으로 나뉜다.
첫 번째 등급은 중앙 추론 서버로 공장 기계실에 배치되고 보통 여러 GPU나 가속 카드를 장착해 여러 라인의 중앙 집중 추론을 처리한다. NVIDIA 솔루션은 생태계가 성숙하고 CUDA 지원이 좋아 비전 검사와 복잡한 모델에 적합하다. AMD 솔루션은 메모리 용량과 가격 대비 성능에서 우위가 있어 다채널 영상 분석에 적합하다. Intel Gaudi 3는 비용에 민감하지만 단일 생태계에 묶이기를 원하지 않는 공장에 적합하다.
두 번째 등급은 산업용 엣지 박스 같은 엣지 추론 장비다. 보통 15W에서 75W 사이의 저중전력 NPU 하나나 엔트리 레벨 GPU를 탑재하고 라인 캐비닛에 직접 장착할 수 있다. Intel Core Ultra 같은 AI PC 칩도 이 범위에 속하며 단일 스테이션이나 소규모 추론에 적합하다.
세 번째 등급은 AI 센서와 로봇 컨트롤러 같은 단말 측 추론이다. 이벤트 카메라는 변화한 픽셀만 매우 낮은 전력으로 출력해 고속 동작 검지에 적합하다. 스마트 비전 센서는 추론 칩을 내장해 외부 서버 없이 검사 결과를 직접 출력한다.
선정할 때 TOPS 수치만 보지 않는다. 40 TOPS로 표기된 두 카드도 하나는 비전 모델을 빠르게 실행하고 다른 하나는 시계열 모델을 빠르게 실행할 수 있다. 실제 작업에서의 프레임 레이트와 지연 시간을 확인해야 한다.
3. 공장 AI 하드웨어의 전형적 응용 시나리오
전자 공장이 높은 라인 속도로 PCB 결함 검사를 수행하고 각 기판을 0.5초 이내에 검사해야 한다. 이 시나리오는 엣지 추론 박스와 스마트 비전 센서의 조합에 적합하다. 센서가 이미지 전처리와 예비 판정을 담당하고, 엣지 박스가 복잡한 분류 모델을 실행하며, 중앙 서버는 모델 갱신과 데이터 분석만 처리한다.
자동차 부품 기업이 고온과 분진이 심한 작업장에서 주조 표면 결함을 검사한다고 가정하면, 이 시나리오는 라인 옆에 서버를 두기에 적합하지 않다. 중앙 기계실에 추론 서버를 배치하고 산업용 이더넷으로 이미지를 보내 추론 결과를 라인으로 반환하는 편이 낫다. 여기서는 네트워크 지연과 서버 방열 설계가 핵심 고려 사항이다.
또 다른 시나리오는 예지 보전이다. 화학 공장이 주요 펌프에 진동 센서를 설치하고 엣지 박스에서 로컬 추론을 실행해 이상 결과만 업로드한다. 이 시나리오는 연산 요구는 크지 않지만 장기 안정성 요구가 높아, 선정 시 광온, 방진, 이중화 전원 지원 여부를 확인해야 한다.
4. 선정 기준과 배치 권장 사항
첫째, 추론 작업 유형을 정의한다. 비전 검사는 GPU나 전용 비전 추론 칩을 우선하고, 시계열 분석은 NPU나 저전력 가속 카드를 사용할 수 있다.
둘째, 연산 여유를 남기되 낭비는 피한다. 모델 반복 개선의 여지를 두기 위해 최고 요구의 1.5배로 산정하는 것이 바람직하지만, 3년 뒤 필요할지 불확실한 기능에 예산을 두 배로 쓰지는 않는다.
셋째, 생태계와 툴체인을 본다. NVIDIA CUDA 생태계가 가장 성숙해 모델 이전 비용이 낮다. AMD ROCm은 개선되고 있지만 일부 연산자는 여전히 적응이 필요하다. Intel oneAPI는 개방형이어서 자체 개발 역량이 있는 팀에 적합하다.
넷째, 배치 환경이 폼팩터를 결정한다. 고온, 다분진, 진동 환경에서는 팬리스 산업용 엣지 장치를 우선한다. 기계실 환경이라면 표준 랙마운트 추론 서버로 충분하다.
다섯째, 소프트웨어 스택이 하드웨어보다 중요하다. 추론 프레임워크가 ONNX, TensorRT, OpenVINO를 직접 지원하는지가 배치 효율을 좌우한다. 모델 양자화 도구를 사용할 수 있는지가 큰 모델을 작은 장치에 담을 수 있는지를 결정한다.
업계의 일부 벤더는 3,200여 단말을 서비스했고 15개 이상 산업에서 120여 고객을 커버했다. 이 경험은 공장 시나리오가 매우 파편화되어 있어 하나의 구성으로 모든 경우를 만족할 수 없음을 보여준다.
5. 기술 동향과 전망
추론 칩은 분화하고 있다. 학습 측은 연산과 메모리를 계속 쌓아 올리고, 추론 측은 저정밀, 고효율, 소형화로 나아간다. Blackwell Ultra는 FP4 추론을 지원하고 Rubin 아키텍처는 추론 효율을 더 강화할 것이다. AMD와 Intel도 자체 추론 최적화 로드맵을 추진하고 있다.
엣지 측은 더 빠르게 변하고 있다. NPU는 오늘날의 CPU처럼 보편화되어 AI PC와 산업용 엣지 박스가 기본적으로 추론 능력을 갖추게 될 것이다. AI 센서는 단일 모달리티에서 멀티모달 융합으로 이동하며, 이벤트 카메라, RGB, 깊이 센서의 조합으로 단말에서 더 복잡한 판단을 완료할 수 있다.
공장 입장에서 선정 논리가 바뀔 것이다. 어떤 카드를 살 것인가가 아니라, 해당 작업이 단말에 속하는지 엣지에 속하는지 중앙에 속하는지가 문제가 된다. 추론은 전기처럼 라인의 인프라가 되어 필요에 따라 할당되고 현지에서 소비될 것이다.