지식 센터
목차

스마트 시티 AI 서버 클러스터 계획

스마트 시티용 AI 서버 클러스터 계획의 핵심은 중앙 추론과 엣지 컴퓨팅, 지능형 센싱의 세 계층 연산을 GPU를 단순히 쌓는 대신 시나리오 요구에 따라 계층적으로 배치하는 것이다. 지난 2년간 각지의 스마트 시티 프로젝트는 클라우드 구축에서 지능 활용으로 이동했고, 영상 분석과 교통 스케줄링, 사고 경고 같은 업무는 실시간성과 동시성 요구가 계속 높아져 클러스터 계획도 범용 연산 센터에서 중앙 학습에 엣지 추론과 기기 측 센싱을 더한 협응 아키텍처로 진화했다.

1. 핵심 개념과 기술 원리

스마트 시티에서 AI 서버 클러스터는 모델 추론과 일부 미세조정 작업을 처리하며, 인터넷 데이터센터에서 대형 모델 학습을 돌리는 방식과는 다르다. 기술 기반은 주로 이기종 컴퓨팅 유닛, 고속 인터커넥트와 메모리 체계, 추론 지향 스케줄링 소프트웨어 스택의 세 부분으로 구성된다.

이기종 컴퓨팅 유닛은 GPU와 NPU, 전용 추론 ASIC의 혼합을 뜻한다. 도시 영상 스트림 분석은 컨볼루션 네트워크와 비전 트랜스포머가 주를 이루어 고처리량 GPU나 추론 가속 카드에 적합하고, 신호 주기와 에너지 소비 예측 같은 구조화 데이터 작업은 저전력 NPU가 더 나은 가치를 낸다. 고속 인터커넥트에서는 클러스터 내부의 NVLink와 PCIe 5.0, CXL이 다중 카드 병렬 추론 시 통신 오버헤드를 결정한다. 메모리 체계는 지원 가능한 모델 규모에 직접 영향을 주며, HBM3e에서 HBM4로 넘어가는 과정에서 카드당 메모리 대역폭이 다중 영상 스트림 동시 분석의 병목 중 하나가 되었다.

스케줄링 소프트웨어 스택은 자주 과소평가된다. 스마트 시티 업무는 조수 간만의 패턴이 뚜렷하다. 출퇴근 시간에는 교통 분석 압력이 높고 야간에는 보안 순찰이 주를 이룬다. 클러스터는 연산 분할과 탄력적 확장, 추론 요청 배칭을 지원해야 하며 그렇지 않으면 하드웨어 활용률이 낮아 보인다.

2. 주요 제품과 솔루션 비교

현재 시장의 AI 서버 클러스터 솔루션은 대략 세 노선으로 나뉜다.

하나는 NVIDIA Blackwell Ultra(GB300)와 Rubin 아키텍처 로드맵으로 대표되는 고성능 추론 노선으로, 랙당 추론 처리량과 HBM4 메모리 용량을 높이는 데 집중해 도시급 영상 집계 분석과 대형 모델 보조 의사결정 같은 무거운 작업에 적합하다. 다른 하나는 AMD MI350 시리즈와 후속 MI400 아키텍처가 이끄는 추론 가성비 노선으로, 대용량 메모리 구성과 단위 연산당 비용 우위가 있어 예산에 민감하면서 더 큰 파라미터 모델을 운영하려는 프로젝트에 매력적이다. 셋째는 Intel Panther Lake(18A 공정)와 신세대 NPU로 강화된 기기 측 및 엣지 연산으로, 엄밀히 서버 클러스터 자체는 아니지만 중앙-엣지 협응 계획에 결정적이다. 엣지 노드가 전처리와 경량 추론을 맡은 뒤 중앙으로 보내는 데이터 양이 눈에 띄게 줄기 때문이다.

엣지 측에서는 Qualcomm과 MediaTek의 고연산 저전력 추론 칩이 스마트 가로등과 교차로 캐비닛, 순찰 장비에 폭넓게 통합되고 있다. 산업 AI 하드웨어는 모듈화와 실시간 제어 방향으로 진화하고 있으며, 이는 클러스터 계획이 엣지 노드의 프로토콜 통합과 모델 배포 역량도 고려해야 함을 뜻한다. 센싱 계층에서는 이벤트 기반 비전과 멀티모달 융합 센싱이라는 두 기술 노선이 나타났다. 전자는 장면이 변할 때만 데이터를 생성해 저전력·저지연으로 엣지에서 장시간 모니터링에 적합하다.

3. 스마트 시티 AI 하드웨어의 대표 응용 시나리오

한 지방 도시의 스마트 교통 프로젝트가 교차로에 이벤트 기반 비전 센서와 엣지 추론 박스를 배치해 번호판 인식과 불법 주정차 탐지, 사고 1차 판정을 수행하고, 구역 엣지 장비실에 다중 교차로 데이터 융합을 위한 중간 연산 서버 몇 대를 두며, 도시급 클러스터가 교통 흐름 예측 모델과 전역 신호 최적화를 실행한다고 하자. 이 3계층 구조에서 클러스터는 클 필요가 없지만 엣지와 중앙의 모델 버전 일관성이 결정적이다.

또 다른 예는 전자 공장이 위치한 산업 단지의 스마트 보안이다. 경계 방어에 멀티모달 융합 센싱(가시광과 적외선, 열영상)을 쓰고 엣지 기기가 침입 1차 선별을 수행하며 클러스터는 확정된 경보 검토와 궤적 추적만 처리한다. 이런 시나리오는 동시 추론 스트림 요구가 높고 학습 연산 요구는 낮아 선정 시 단일 카드 피크 연산보다 추론 카드 밀도가 중요하다.

4. 선정 포인트와 배치 권장 사항

클러스터를 계획하기 전에 업무 구조를 그려야 한다. 영상 스트림 수와 스트림당 해상도, 분석 프레임레이트, 실행할 모델의 파라미터 수라는 네 수치가 기본적으로 연산 요구를 규정한다. 학습 클러스터의 구성표를 그대로 베끼지 않는다. 추론 시나리오에서는 메모리 대역폭과 동시성 효율이 FP16 피크 연산보다 유용한 정보인 경우가 많다.

전력과 냉각을 미리 계산한다. 고밀도 추론 랙의 전력 밀도는 눈에 띄게 높아졌고 노후 장비실 개조는 배전 용량에 자주 제약을 받는다. 엣지 노드는 넓은 동작 온도 범위와 방진 보호에 주의해야 하며, 교차로 캐비닛은 장비실보다 훨씬 가혹한 환경이다.

소프트웨어 측면에서는 추론 스케줄링 플랫폼이 여러 업체의 가속기와 호환되는지 먼저 검증해 단일 생태계에 고정되는 일을 피한다. 모델 배포와 버전 관리 체계도 배치 전에 검증해야 하며, 그렇지 않으면 수백 개 엣지 노드의 모델을 한 번에 업그레이드하는 일이 재앙이 된다.

5. 기술 동향과 전망

향후 2~3년간 스마트 시티 AI 클러스터는 두 방향으로 움직일 것이다. 첫째, 추론 전문화다. HBM4와 대용량 메모리 가속 카드가 도입되면서 랙당 지원 영상 스트림 수와 모델 규모가 계속 상승하고 클러스터 노드 수는 오히려 줄어들 수 있다. 둘째, 기기-엣지-클라우드 협응의 표준화다. 엣지 AI 칩 연산이 강화되면서 더 많은 추론 작업이 하위로 이동하고 클러스터의 역할은 모델 관리와 교차 도메인 융합, 고부하 분석으로 수렴한다. 이벤트 기반 비전과 멀티모달 센싱의 확산은 센싱 계층이 만드는 데이터 형태도 바꾸므로 클러스터 입력이 더 이상 영상 스트림만이 아니게 되며, 계획 단계에서 새로운 유형의 센서 연결을 위한 인터페이스 여유를 남겨야 한다.

ERP 시대부터 수십 년간 쌓은 산업 디지털화 경험과 120만 고객 서비스, 수천만 대 단말 누적 배치는 한 가지를 보여준다. 스마트 시티의 하드웨어 계획은 가장 비싼 카드를 사는 일이 아니라 각 계층의 연산을 제자리에 두는 일이다. 클러스터는 골격이고 엣지는 신경 말단이며 센서는 감각이다. 세 가지가 맞아야 시스템이 돌아가고 오래간다.

주제: AI 하드웨어 백과