도시 수준 AI 추론 플랫폼의 하드웨어 선정은 한 문장으로 정리된다. 학습 카드를 추론 풀로 쌓지 말고 와트당 처리량, 메모리 대역폭, 센서 직접 연결성을 보라는 것이다. 오늘날 스마트 시티 프로젝트는 흔히 수천 개 영상 스트림과 수백 개 엣지 노드를 연결해야 하며, 하드웨어 아키텍처를 잘못 고르면 나중에 전기요금과 지연이 예산을 잠식한다.
1. 핵심 개념과 기술 원리
도시 수준 AI 추론 플랫폼은 단일 기기 추론과 완전히 다른 대상이다. 영상 스트림 구조화, 레이더-비전 융합 인지, 자연어 티켓 분류, 신호 주기 최적화 등 수십 개 모델을 동시에 처리해야 한다. 핵심 지표는 최고 연산이 아니라 유효 처리량, 즉 주어진 전력과 지연 제약 아래에서 초당 몇 건의 정확한 추론을 완료할 수 있는가이다.
추론 하드웨어는 세 개 계층으로 나뉜다. 데이터센터급 GPU나 가속기, 엣지 NPU 박스, 센서 측 뉴로모픽 칩이다. 데이터센터 계층은 대형 비전 파운데이션 모델과 카메라 간 궤적 연결을, 엣지 NPU는 로컬 소형 모델과 실시간 필터링을, 센서 측은 이벤트 트리거를 담당한다. 셋은 메시지 큐와 공유 메모리로 연결되며 대역폭을 두고 경쟁해서는 안 된다.
NVIDIA의 최신 로드맵은 주목할 만하다. Blackwell Ultra는 FP4 추론 정밀도를 강화하고, HBM4 메모리는 대역폭을 새로운 수준으로 끌어올리며, Rubin 아키텍처는 연 단위 반복으로 전환한다. 이는 추론 카드의 메모리 벽 문제가 완화된다는 뜻이지만 전력 밀도는 계속 높아진다. AMD의 Instinct MI350/MI400은 CDNA4와 3nm를 사용해 가격 대비 성능 경로가 명확하고, 대용량 메모리가 필요한 예산 민감형 영상 분석 풀에 적합하다. Intel Gaudi 3는 개방형 생태계 노선으로, 이미 x86 인프라를 갖춘 스마트 시티 플랫폼의 이기종 혼합 배치에 적합하다.
2. 주요 제품과 솔루션 비교
도시 수준 추론 풀은 현재 세 가지 주류 형태를 취한다.
첫째는 머신당 8~16장의 카드와 고대역폭 HBM을 갖춘 순수 GPU 추론 클러스터다. 다중 스트림 4K 영상 디코딩과 YOLO 시리즈, ReID 모델을 함께 실행하는 데 적합하다. 장점은 생태계가 성숙해 TensorRT와 Triton 추론 서버를 바로 사용할 수 있다는 점이다. 단점은 전력이 높아 랙당 20kW를 넘어 기존 기계실 개조가 어렵다는 점이다.
둘째는 NPU 엣지 추론 어레이다. 각 엣지 박스가 15~40W에서 40~60 TOPS를 제공하고 교차로 캐비닛이나 가로등에 직접 장착된다. 경량 검지와 분류를 실행하고 구조화 결과만 센터로 반환한다. AI PC에 쓰이는 동일한 NPU가 이제 산업용 엣지 장치에 폭넓게 통합되어 최대 7B 파라미터 모델의 로컬 추론을 지원하며, 예컨대 교통 사고 설명문을 생성할 수 있다.
셋째는 이기종 혼합 배치다. 센터는 중부하 모델과 모델 오케스트레이션에 GPU를 사용하고, 엣지 NPU는 상주 소형 모델을 실행하며, AI 센서는 하드웨어 수준 이벤트 트리거를 제공한다. 한 전자 공장은 캠퍼스 주변부에 밀리미터파 레이더, 이벤트 카메라, 저전력 NPU를 배치하고 이상 진동과 침입 궤적에만 추론을 실행해 중앙 GPU 부하를 눈에 띄게 줄였다. 자동차 부품 기업이 내부 물류 차량을 스케줄링하려 한다고 가정하면, 엣지 NPU가 시각 위치 결정을, 중앙 GPU가 전역 경로 계획을 담당해 센터 단독 설계보다 대역폭을 절반으로 줄인다.
3. 스마트 시티 AI 하드웨어의 전형적 응용 시나리오
교통 교차로의 홀로그래픽 인지. 이벤트 카메라가 급격한 차로 변경을 포착하고, 밀리미터파 레이더가 거리와 속도를 측정하며, NPU가 로컬 융합을 수행하고 구조화 궤적만 업로드하며, 중앙 추론 플랫폼이 교차로 간 그린 웨이브를 최적화한다. 이런 시나리오에서 센서 측 뉴로모픽 컴퓨팅은 지연을 밀리초 수준까지 낮출 수 있다.
도시 거버넌스를 위한 영상 분석. 수천 개 영상 스트림에서 노점, 적치 쓰레기, 불법 주차를 동시에 확인해야 한다. 엣지 NPU가 이벤트가 없는 프레임의 90퍼센트를 먼저 걸러내고 중앙 GPU는 의심 클립만 처리한다. 이 계층 아키텍처를 사용한 한 지급시 플랫폼은 추론 카드 수를 40퍼센트 줄였다.
산업 엣지 품질 검사. 라인 카메라와 저전력 NPU가 표면 결함 1차 선별을 수행하고 중앙 GPU가 난이도 높은 샘플의 재검사와 모델 반복을 담당한다. AI 센서 융합 솔루션은 로봇 유도와 자율 청소기에서도 배치되고 있다.
4. 선정 기준과 배치 권장 사항
먼저 TOPS만 보지 말고 유효 처리량 요구를 계산한다. 세 가지를 물어야 한다. 동시에 실행하는 모델 수, 각 영상 스트림의 해상도와 프레임 레이트, 종단 간 지연 상한이다. 그런 다음 와트당 추론 수로 카드를 고른다.
메모리 대역폭이 연산보다 중요하다. 도시 수준 추론 풀은 영상 프레임과 특징 맵을 끊임없이 이동시키며, HBM4와 GDDR7의 격차는 밀집 시나리오에서 두 배의 효율 차이로 벌어질 수 있다. 대용량 메모리를 갖춘 AMD MI 시리즈는 다중 상주 모델에 적합하고, NVIDIA 생태계는 빠른 반복에 적합하다.
엣지 NPU 선정에서는 세 가지를 확인한다. ONNX와 OpenVINO 지원 여부, 하드웨어 비디오 디코딩 유닛 유무, 컨테이너 배포 지원 여부다. 40 TOPS급 칩이면 양자화된 YOLOv8과 경량 Transformer에 충분하지만 1,000억 파라미터 모델을 실행하리라 기대해서는 안 된다.
배치는 중앙 풀링과 엣지 샤딩이 바람직하다. 센터는 중부하와 학습에 GPU 풀을 사용하고 엣지 NPU는 교차로나 공장 구역별로 분할한다. 네트워크에는 RDMA나 TSN을 사용해 결정론적 지연을 보장한다. 전력과 냉각은 랙당 25kW를 확보하고, 스마트 시티 기계실에서 공랭에서 액랭으로의 전환이 점점 보편화되고 있다.
5. 기술 동향과 전망
추론 하드웨어는 범용에서 전용으로 이동하고 있다. NVIDIA Rubin과 AMD MI400은 모두 추론 전용 유닛을 강화할 것이고, HBM4가 보급되면 메모리 벽이 더 완화될 것이다. Intel Falcon Shores가 개방형 생태계를 구축한다면 스마트 시티 프로젝트는 더 많은 이기종 선택지를 갖게 될 것이다.
엣지 NPU 통합은 계속 높아져 AI PC에 쓰이는 동일한 칩이 산업용 박스로 이동하고 60 TOPS가 점차 표준이 될 것이다. 이벤트 카메라, 밀리미터파, 뉴로모픽 컴퓨팅을 융합한 AI 센서는 로보틱스와 자율주행에서 먼저 규모화될 것이다.
도시 수준 플랫폼의 선정 논리는 향후 2년간 가장 강한 카드를 사는 것에서 가장 적합한 메모리 대역폭과 에너지 효율을 사는 것으로 이동할 것이다. 추론 풀의 연 단위 반복이 빨라진다는 것은 조달이 단일 카드 최고 성능보다 소프트웨어 호환성과 세대 간 이전 비용에 더 초점을 두어야 한다는 뜻이다.