지식 센터
목차

도시 수준 AI 추론 플랫폼 하드웨어 선정의 세 가지 축: 카드당 추론 처리량, 메모리 대역폭과 용량, 엣지-센터 협업 효율이며 최고 연산만이 아니다

스마트 시티는 보는 단계에서 이해하는 단계로 이동하고 있다. 전국적으로 수백만 대의 카메라가 매일 방대한 영상 스트림을 생산하고, 이를 모두 클라우드로 반환하면 대역폭 비용이 크고 응답 지연도 길어진다. 그래서 도시 수준 AI 추론 플랫폼이 새로운 인프라가 되었다. 구역, 가로, 심지어 교차로 캐비닛 수준에서 실시간 분석을 완료하고 구조화 결과만 업로드한다. 이러한 전환이 추론 지향 AI 하드웨어 수요를 직접 견인했고, NVIDIA, AMD, Intel과 다수 엣지 NPU 벤더가 2025년 전후로 로드맵을 갱신했다.

1. 핵심 개념과 기술 원리

도시 수준 AI 추론 플랫폼은 도시 전체를 커버하며 다중 영상과 센서 데이터 스트림의 실시간 분석을 지원하는 하드웨어와 소프트웨어 시스템이다. 하드웨어 기반은 보통 세 개 계층으로 구성된다.

중앙 추론 클러스터는 도시 전체 차량 궤적 상관 분석, 카메라 간 이미지 검색 같은 중부하를 담당한다. 이런 작업은 메모리 용량과 카드 간 상호연결 대역폭에 극도로 민감하다. NVIDIA가 GTC 2025에서 발표한 Blackwell Ultra(GB300)는 HBM3e를 288GB로 확장하고 Rubin 아키텍처가 2026년 HBM4와 결합해 양산에 들어간다고 확인했다. 이는 단일 카드가 더 큰 비전 모델을 담고 카드 간 분할의 통신 오버헤드를 줄일 수 있다는 뜻이다.

엣지 추론 노드는 파출소, 교차로 캐비닛, 커뮤니티 기계실에 배치되어 실시간 얼굴 대조, 번호판 인식, 위반 검지를 수행한다. 이런 시나리오는 저전력, 광온, 팬리스 또는 소형 팬 설계를 요구한다. Intel Panther Lake에 통합된 NPU는 엣지 AI PC 폼팩터를 강화하고, Clearwater Forest는 데이터센터 에너지 효율을 겨냥한다. Qualcomm, MediaTek, Apple의 신형 NPU 칩은 스마트폰, 로봇, 산업용 PC의 로컬 추론을 일상화했다.

AI 센서 융합 계층은 쉽게 간과된다. 이벤트 카메라는 픽셀 변화만 출력하고 밀리미터파 레이더는 포인트 클라우드를 출력하며, AI 엣지 모듈과 결합해 제조 품질 검사와 자율주행에서 대규모로 배치되고 있다. 도시 수준 플랫폼은 이런 이기종 데이터 스트림의 수집과 동기화를 지원해야 한다.

2. 주요 제품과 솔루션 비교

도시 수준 AI 추론 하드웨어는 현재 대략 세 가지 노선으로 나뉜다.

범용 GPU 추론 노선은 NVIDIA Blackwell Ultra와 AMD Instinct MI350 시리즈로 대표된다. Blackwell Ultra는 카드당 대용량 메모리와 FP4 추론을 강조해 다중 스트림 영상 구조화에 적합하다. AMD MI350 시리즈는 CDNA4 아키텍처 기반으로 추론 가격 대비 성능에 집중하므로 같은 예산으로 더 많은 노드를 배치할 수 있어 비용에 민감한 구역급 플랫폼에 적합하다. 두 제품 모두 주류 추론 프레임워크를 지원하므로, 선정 시 해당 모델에 특정 아키텍처용 연산자 최적화가 이미 이루어졌는지 확인해야 한다.

엣지 NPU 노선은 Qualcomm Cloud AI 시리즈, MediaTek Dimensity 칩에 내장된 NPU, 여러 벤더의 AI PC 칩을 포함한다. 장점은 저전력과 작은 크기로 가로등, 로봇, 차량 탑재 장치에 일괄 배치할 수 있다는 점이다. 단점은 칩당 연산이 제한되어 YOLO 시리즈, MobileNet, 소형 파라미터 Transformer 같은 경량 모델에 적합하다는 점이다.

CPU 통합 NPU 노선은 Intel Panther Lake와 Clearwater Forest로 대표된다. Panther Lake는 엣지 AI PC를 겨냥해 커뮤니티 경찰 단말과 이동 단속 장치에 적합하다. Clearwater Forest는 데이터센터를 겨냥해 효율 코어를 쌓아 밀도를 높이며 다량의 경량 추론 컨테이너에 적합하다. 이 노선의 이점은 x86 생태계 호환성이 좋아 기존 도시 플랫폼 소프트웨어 이전 비용이 적다는 것이다.

3. 스마트 시티 AI 하드웨어의 전형적 응용 시나리오

교통 거버넌스가 가장 큰 시나리오다. 한 교차로에 카메라 8대를 배치하고 번호판 인식, 차종 분류, 불법 주차 검지, 신호 위반 판정을 동시에 수행해야 한다고 가정하면, 엣지 노드의 단일 NPU 칩으로 4~6개 스트림을 처리하고 나머지 2개 스트림은 구역급 GPU 노드로 보내 대형 모델로 교차로 간 궤적을 재구성한다.

공공 안전 분야에서 한 구역에 카메라 2,000대가 있고 수배자 실시간 대조가 필요하다고 가정하면, 중앙 클러스터는 다중 카드 GPU 서버를 사용하고 카드마다 수백 개 스트림을 처리하며 특징 벡터 검색으로 초 단위 경보를 완료한다. 엣지 노드는 프런트엔드 필터링을 담당하고 대상이 포함된 클립만 업로드해 대역폭을 상당히 절약한다.

도시 거버넌스에서는 이벤트 카메라와 밀리미터파 레이더가 맨홀 뚜껑 이탈, 도로 침수, 교량 진동 모니터링에 쓰이기 시작했다. 이런 센서는 희소한 이벤트 스트림을 출력하고 고해상도 영상이 필요 없어 저전력 NPU 엣지 모듈로 충분하다. 한 전자 공장은 유사한 방식으로 라인 품질 검사를 수행하며 컨베이어 위에 이벤트 카메라를 설치하고 이상 진동과 변형에만 추론을 트리거한다.

4. 선정 기준과 배치 권장 사항

먼저 모델 풀을 본다. 플랫폼이 여러 대형 비전 모델을 실행해야 한다면 Blackwell Ultra나 MI350 시리즈처럼 대용량 메모리를 갖춘 GPU를 우선한다. 주로 경량 모델과 전통적 CV 연산자를 실행한다면 엣지 NPU 솔루션이 더 경제적이다.

둘째, 전력과 냉각을 본다. 교차로 캐비닛은 보통 팬 냉각만 있고 공조가 없다. 엣지 장치를 고를 때 TDP와 광온 범위에 주의한다. Intel Panther Lake와 일부 Qualcomm NPU 칩은 15W에서 45W 구간에서 우위가 있다.

셋째, 데이터 반환 전략을 본다. 도시 수준 플랫폼은 모든 데이터를 로컬에 저장할 수 없다. 엣지 노드는 1차 추론을 수행하고 구조화 결과와 키 프레임만 업로드하며, 중앙 노드는 2차 추론과 모델 반복을 담당한다. 이렇게 하면 중앙 GPU의 메모리 대역폭 압력이 크게 줄어든다.

넷째, 생태계 호환성을 본다. 기존 도시 플랫폼은 대부분 x86과 컨테이너 배포 기반이다. 선정 시 추론 프레임워크가 ONNX, TensorRT, OpenVINO 같은 중간 형식을 지원하는지 확인해 벤더 종속을 피한다.

다섯째, 확장성을 본다. Rubin 아키텍처가 2026년 양산되고 HBM4가 보급되면 카드당 추론 능력이 다시 도약한다. 배치 시 PCIe나 OAM 슬롯을 확보하고 다음 세대 카드에 맞춰 랙 전력과 냉각을 설계한다.

5. 기술 동향과 전망

추론 하드웨어는 연산 경쟁에서 메모리 대역폭과 에너지 효율 경쟁으로 이동하고 있다. NVIDIA Rubin과 AMD의 차세대 CDNA 세대는 모두 HBM4와 추론 전용 유닛을 강조한다. Intel이 모든 PC 칩에 NPU를 넣는다는 것은 미래 도시의 모든 단말이 추론 노드가 될 수 있다는 뜻이다.

엣지에서는 이벤트 카메라와 NPU의 결합이 더 보편화될 것이다. 이들은 영상 스트림이 아니라 이벤트를 생산하므로 프라이버시에 유리하고 전력이 극히 낮다. 밀리미터파 레이더와 AI 모듈의 결합은 자율주행과 교통량 검지에서 일부 카메라 기능을 대체할 것이다.

도시 수준 AI 추론 플랫폼은 궁극적으로 중앙 대형 모델과 엣지 소형 모델의 하이브리드 아키텍처로 나아갈 것이다. 중앙은 학습과 중부하 추론을, 엣지는 실시간 필터링과 경량 추론을 담당한다. 선정 시 단일 카드 사양을 넘어 전체 네트워크의 추론 효율과 데이터 반환 비용을 보아야 한다. 이 솔루션의 벤더는 이미 15개 이상 산업에서 120여 고객과 3,200여 단말이 유사 아키텍처로 운영되고 있지만, 도시마다 교차로 수, 카메라 해상도, 모델 버전이 달라 실무 선정에는 여전히 시나리오별 부하 테스트가 필요하다.

주제: AI 하드웨어 백과