지식 센터
목차

스마트 시티 AI 서버 클러스터 계획

스마트 시티 AI 서버 클러스터 계획의 핵심은 GPU 서버를 단순히 쌓아 올리는 것이 아니라 서비스 지연 요구에 따라 학습, 추론, 엣지 인지 연산을 계층화해 배치하는 것이다. 오늘날 스마트 시티 프로젝트는 대체로 세 가지 압력, 즉 높은 동시 영상 스트림, 빠른 모델 반복, 제한된 엣지 전력에 직면하므로 클러스터 계획은 칩 선정 단계부터 중앙 학습과 엣지 추론의 요구를 구분해야 한다.

1. 핵심 개념과 기술 원리

스마트 시티 시나리오의 AI 서버 클러스터는 보통 세 개 계층을 가진다. 중앙 학습 클러스터는 도시 수준 비전 파운데이션 모델과 교통 흐름 예측 모델의 학습과 미세 조정을 담당하며 고대역폭 HBM 메모리와 카드 간 상호 연결에 의존한다. 지역 추론 클러스터는 구역 단위 기계실에 배치되어 다중 영상 스트림의 실시간 분석을 처리하며 카드당 추론 처리량과 에너지 효율에 더 민감하다. 엣지 AI 박스나 AI PC는 가로등, 교차로 캐비닛, 순찰 차량에 내장되어 소형 모델로 현지 추론을 완료하고 원본 영상은 현지에 두고 구조화 결과만 업로드한다.

세 계층 간 데이터 흐름은 한 방향으로 수렴한다. 엣지가 1차 필터링을, 지역이 2차 집계와 분석을, 중앙이 3차 모델 반복 개선을 담당한다. 계획에서 이 순서가 뒤집혀 대형 모델을 엣지로 바로 밀어 넣으면 전력과 냉각이 먼저 한계에 부딪힌다.

2. 주요 제품과 솔루션 비교

중앙 학습 측에서 NVIDIA의 Blackwell Ultra와 이후 Rubin 아키텍처 로드맵은 추론 성능과 HBM4 메모리를 강조하고 연 단위 반복 주기로 전환했다. 이는 클러스터 계획이 캐비닛 전력과 액체 냉각 호환성에 대해 앞을 내다보는 여유를 고려해야 함을 의미한다. AMD의 Instinct MI350/MI400 시리즈는 CDNA4 아키텍처와 3nm 공정을 기반으로 학습과 추론 시장에서 직접적인 비교 기준을 형성하며 단일 벤더 종속을 피하려는 프로젝트에 적합하다. Intel Gaudi 3와 Falcon Shores 아키텍처는 개방형 생태계와 가격 대비 성능을 강조해 예산에 민감한 도시 두뇌 프로젝트에서 이기종 보완재로 활용될 수 있다.

지역 추론 측에서는 선택 논리가 다르다. 같은 추론 서버라도 비전 구조화 모델을 실행할 때와 자연어 대형 모델을 실행할 때 요구하는 메모리 대역폭이 크게 다르다. 실제 계획의 흔한 방식은 중앙에 고급 학습 카드, 지역에 추론 최적화 카드, 엣지에 40~60 TOPS급 온칩 NPU를 두는 것이다. AI PC와 산업용 엣지 박스는 흔히 이 연산 구간의 AI 엔진을 탑재해 이미 로컬 대형 모델 추론을 지원할 수 있으며, 커뮤니티 서비스 센터나 이동 단속 단말에 적합하다.

엣지 인지 측에서 AI 센서는 이벤트 카메라, 밀리미터파 레이더, 뉴로모픽 컴퓨팅을 융합하고 있다. 이벤트 카메라는 변화한 픽셀만 출력해 일반 프레임 카메라보다 전력이 훨씬 낮고, 밀리미터파 레이더는 비와 안개에서 비전의 사각지대를 커버하며, 뉴로모픽 컴퓨팅은 스파이킹 신경망을 모방해 산업 검사와 로봇 장애물 회피에서 밀리초 수준의 저지연 인지를 달성한다. 이 세 가지 센서 유형이 NPU와 결합해 홀로그래픽 교차로 인지 유닛의 기본 하드웨어 형태를 이룬다.

3. 스마트 시티 AI 하드웨어의 전형적 응용 시나리오

전자 공장 캠퍼스가 스마트 보안을 업그레이드한다고 가정하면, 주변부에 이벤트 카메라와 밀리미터파 레이더를 배치하고 엣지 박스가 침입 검지 모델을 로컬에서 실행하며 경보 클립만 지역 클러스터로 전송한다. 대역폭 사용량이 기존 솔루션의 일부로 떨어지고, 레이더 보조 덕분에 야간 오경보도 줄어든다.

자동차 부품 기업이 캠퍼스 교통 스케줄링 시스템을 구축한다고 가정하면, NPU를 갖춘 엣지 장치가 교차로 캐비닛에 들어가 번호판과 차종을 현지에서 추론하고, 지역 클러스터가 모든 교차로의 교통량을 집계해 신호 주기 최적화를 수행하며, 중앙 클러스터가 매주 새 데이터로 예측 모델을 미세 조정한다. 각 계층이 자기 역할을 수행해 모든 영상 스트림을 중앙으로 끌어오는 일을 피한다.

도시 수준 영상 분석 플랫폼은 지역 추론 클러스터의 밀도에 더 의존한다. 구역 단위 기계실이 수백 개 영상 스트림의 구조화 분석을 담당할 수 있으며, 이 경우 카드당 추론 처리량과 캐비닛 방열 설계가 최고 연산 성능보다 중요하다.

4. 선정 기준과 배치 권장 사항

먼저 비즈니스의 지연 상한을 정하고 나서 연산 계층을 역산한다. 100밀리초 이내가 필요한 시나리오는 엣지 NPU에서 로컬로 루프를 닫고, 초 단위를 허용하는 경우는 지역 클러스터로 보내며, 모델 학습과 교차 영역 분석은 중앙에서 처리한다.

연 단위 반복 주기를 전제로 전력과 냉각을 확보한다. NVIDIA가 연 단위 칩 반복으로 전환한 이후 캐비닛 전력 밀도는 해마다 높아질 수 있으므로 액체 냉각 호환성은 기계실 설계 단계에서 반영하는 것이 좋다.

이기종 연산 풀이 단일 아키텍처보다 복원력이 좋다. 학습 측은 서로 다른 아키텍처의 가속기를 혼합할 수 있지만, 추론 측은 주요 추론 프레임워크를 지원하는 카드 유형으로 표준화해 과도한 모델 이전 비용을 피해야 한다.

엣지 장치를 선정할 때는 TOPS 외에 메모리 대역폭과 전력 한계를 본다. 40~60 TOPS급 NPU는 가로등이나 이동 단말의 팬리스 설계를 지원하려면 7~15W 구간에서 동작해야 한다.

5. 기술 동향과 전망

HBM4 메모리와 3nm 공정이 카드당 추론 처리량을 새로운 수준으로 끌어올리고 있지만, 스마트 시티의 병목은 점차 연산에서 데이터 이동과 모델 스케줄링으로 옮겨가고 있다. 이벤트 카메라와 뉴로모픽 컴퓨팅이 성숙하면 엣지 인지는 먼저 획득하고 나서 연산하는 방식에서 획득하면서 동시에 연산하는 방식으로 이동해 지연을 더 줄일 것이다.

연 단위 칩 반복 주기는 클러스터 계획에 새로운 요구를 제기한다. 기계실은 수명 주기 안에서 두세 세대의 가속기를 보게 될 수 있으므로 모듈형 캐비닛과 교체 가능한 전원 유닛이 고정 설계보다 유리하다. 15개 이상 산업에서 120여 고객과의 벤더 배치 경험도 같은 결론을 가리킨다. 스마트 시티 AI 서버 클러스터의 경쟁력은 카드당 최고 연산이 아니라 세 개 연산 계층 사이의 데이터 흐름이 원활한지, 전력이 통제 가능한지, 모델 반복이 변화하는 도시 운영을 따라가는지에 있다.

주제: AI 하드웨어 백과