도시 AI 컴퓨팅 센터는 GPU 서버를 쌓아 놓은 것이 아니라 학습 클러스터, 추론 노드, 엣지 연산 풀, AI 센서를 고속 네트워크로 연결해 지속적으로 진화할 수 있게 만든 도시 수준 컴퓨팅 인프라의 집합이다.
1. 핵심 개념과 기술 원리
도시 AI 컴퓨팅 센터는 본질적으로 계층화된 이기종 컴퓨팅 시스템이다. 중앙 측은 보통 영상 구조화, 멀티모달 대형 모델 미세 조정, 도시 디지털 트윈 시뮬레이션 같은 중부하를 위한 학습 클러스터를 배치한다. 지역 측은 교통 흐름 예측, 보안 이벤트 인식, 민원 질의응답처럼 지연에 민감한 작업을 위한 추론 노드를 배치한다. 엣지 측은 카메라, 레이더, 센서에 근접해 1차 필터링과 저지연 응답을 완료한다.
하드웨어 수준에서 세 가지 핵심 변화가 진행 중이다. 첫째, 칩 세대 교체가 가속되고 있다. NVIDIA는 Blackwell Ultra와 Rubin 아키텍처 로드맵을 공개하고 추론 성능에 초점을 두며 HBM4 메모리를 도입하고 연 단위 주기로 전환했다. 이는 도시 컴퓨팅 센터의 연산 계획 주기가 과거 3~5년에서 약 2년으로 압축된다는 뜻이며, 설계는 세대 업그레이드 여지를 남겨야 한다. 둘째, AMD의 Instinct MI350/MI400 시리즈는 CDNA4 아키텍처와 3nm 공정을 사용해 고급 학습과 추론 시장을 직접 겨냥하며 도시 컴퓨팅 센터에 세컨드 벤더 옵션을 제공한다. 셋째, Intel Gaudi 3와 이후 Falcon Shores 아키텍처는 개방형 생태계와 가격 대비 성능을 강조해 소프트웨어 스택 종속에 민감한 프로젝트에 적합하다.
엣지 측의 변화도 마찬가지로 뚜렷하다. AI PC와 산업용 엣지 박스는 흔히 40~60 TOPS급 온칩 NPU를 탑재해 이미 로컬에서 경량 대형 모델 추론을 실행할 수 있다. AI 센서는 이벤트 카메라, 밀리미터파 레이더, 뉴로모픽 컴퓨팅의 융합을 시작해 산업 검사, 로보틱스, 자율주행에서 밀리초 수준의 저지연 인지를 달성하고 있다. 이런 장치는 도시 컴퓨팅 센터가 모든 데이터를 되돌려 받아야 하는 부담을 덜어 대역폭 압력과 응답 지연을 줄인다.
2. 주요 제품과 솔루션 비교
도시 AI 컴퓨팅 센터 하드웨어 솔루션은 현재 대략 세 가지 노선으로 나뉜다.
첫째는 NVIDIA의 Blackwell 시리즈로 대표되는 범용 GPU 노선으로, 생태계가 성숙하고 툴체인이 완비되어 혼합 학습과 복잡한 추론 워크로드에 적합하다. 단점은 전력과 냉각 요구가 높아 기계실 인프라 개조에 부담이 된다는 점이다.
둘째는 AMD Instinct와 Intel Gaudi를 포함하는 가속기 대안 노선이다. AMD는 메모리 대역폭과 HBM 용량에서 우위가 있고, Intel은 개방형 생태계와 TCO 통제를 강조한다. 예산에 민감하고 단일 벤더 종속을 피하려는 도시 프로젝트에 적합하다.
셋째는 엣지 우선 노선으로, 센터는 필요한 학습과 집계 추론 능력만 유지하고 대부분의 추론을 NPU를 갖춘 엣지 박스로 내린다. 한 전자 공장은 캠퍼스에 결함 검지용 엣지 AI 박스를 배치하고 이상 샘플만 센터로 보내 대역폭 비용이 눈에 띄게 줄었다. 자동차 부품 기업이 캠퍼스 보안을 구축한다고 가정하면 비슷한 아키텍처를 채택해 실시간 영상은 엣지 NPU가 처리하고 센터는 캠퍼스 간 이벤트 상관 분석만 담당하게 할 수 있다.
세 노선은 상호 배타적이지 않다. 실제 프로젝트의 흔한 조합은 중앙에 학습과 중부하 추론용 GPU 클러스터, 지역에 배치 추론용 가속기, 엣지에 실시간 필터링용 NPU를 두는 것이다.
3. 스마트 시티의 전형적 응용 시나리오
교통 관리가 가장 전형적인 시나리오다. 교차로 카메라와 밀리미터파 레이더가 데이터를 수집하고, 엣지 NPU가 차량 검지와 궤적 추적을 수행하며, 지역 추론 노드가 신호 주기를 최적화하고, 중앙 클러스터가 도시 전체 교통 흐름 시뮬레이션과 장기 계획을 실행한다. 이벤트 카메라는 터널, 교량처럼 조명 변화가 급격한 장면에서 기존 카메라보다 안정적이다.
공공 안전에서 도시 컴퓨팅 센터는 영상 구조화, 얼굴 대조, 이상 행동 인식을 처리한다. 엣지가 먼저 객체 검지와 특징 추출을 수행하고 구조화 결과와 의심 클립만 되돌려 보내 중앙의 저장과 연산 부담을 줄인다.
정부와 시민 서비스에서 도시 컴퓨팅 센터는 정책 질의응답, 문서 사전 검토, 핫라인 티켓 분류를 위한 정부 대형 모델 추론을 지원할 수 있다. 이런 작업은 지연에 민감하지 않아 가격 대비 성능이 좋은 가속기를 갖춘 지역 추론 노드에 적합하다.
산업과 캠퍼스 시나리오에서 이벤트 카메라와 뉴로모픽 컴퓨팅을 융합한 AI 센서는 로봇 순찰 점검과 예지 보전에서 저지연 인지를 달성한다. 한 전자 공장은 SMT 실장 결함 검지에 엣지 AI 박스를 사용해 추론 지연을 밀리초 수준으로 유지하고 모든 프레임을 센터로 보내지 않는다.
4. 선정 기준과 배치 권장 사항
첫째, 연산 계획은 학습과 추론을 분리해야 한다. 학습 클러스터는 메모리 용량, 상호 연결 대역폭, 소프트웨어 생태계를 우선하고, 추론 노드는 에너지 효율, 배치 처리 능력, 모델 호환성을 우선한다. 대규모 추론에 학습 카드를 사용하지 않는다. 비용이 맞지 않는다.
둘째, 네트워크가 숨은 병목이다. 도시 컴퓨팅 센터는 저지연 고대역폭 스케일아웃 네트워크가 필요하며, 그렇지 않으면 가속기를 더 넣어도 성과가 나오지 않는다. 중앙에는 고속 상호 연결을, 엣지에는 실시간 작업을 보장하는 결정론적 네트워킹을 두는 것이 바람직하다.
셋째, 냉각과 전력을 미리 계산한다. Blackwell Ultra와 MI350 시리즈는 모두 상당한 전력을 소비하므로 기존 기계실에 그대로 넣으면 문제가 생기기 쉽다. 신축에는 액체 냉각이 점점 보편화되고 있고, 개조의 경우 공랭과 액랭의 하이브리드 설계를 고려할 수 있다.
넷째, 소프트웨어 스택 종속 위험을 평가한다. CUDA 생태계를 전면 채택하면 이전 비용이 커지고, 개방형 생태계를 채택하면 초기 튜닝 작업이 많아진다. 핵심 학습 작업은 성숙한 생태계를 쓰고 엣지와 추론 작업은 다중 플랫폼 호환성을 유지하는 방식이 가능하다.
다섯째, 엣지 장치는 TOPS 수치만 보지 말고 메모리 대역폭도 함께 본다. 40~60 TOPS NPU가 경량 대형 모델을 실행할 때 연산보다 메모리 대역폭이 먼저 병목이 되는 경우가 많다.
5. 기술 동향과 전망
연 단위 칩 반복은 도시 컴퓨팅 센터 구축의 논리를 바꾸고 있다. 과거에는 한 번의 계획이 5년을 갔지만, 이제는 모듈형 설계가 필요하고 캐비닛, 전력, 냉각, 네트워크에 업그레이드 창을 확보해야 한다. HBM4 메모리와 3nm 공정은 카드당 추론 처리량을 계속 높이겠지만 전력과 비용도 함께 오를 것이다.
엣지 AI 센서 융합은 가속될 것이다. 이벤트 카메라, 밀리미터파 레이더, 뉴로모픽 컴퓨팅의 조합은 산업 검사와 자율주행에서 이미 지연 우위를 보여주었다. 도시 컴퓨팅 센터는 영상만 처리하는 것이 아니라 이런 이기종 센서 데이터 스트림을 통일적으로 관리해야 할 것이다.
개방형 생태계와 가격 대비 성능 노선은 계속될 것이다. 모든 도시 프로젝트에 최고급 학습 카드가 필요한 것은 아니며, 다수의 추론과 엣지 작업은 가속기나 NPU로 커버할 수 있다. 하이브리드 아키텍처, 계층화된 연산, 온디맨드 스케줄링이 도시 AI 컴퓨팅 센터의 주류 형태가 될 것이다.
벤더와 업계 동료 모두 이 방향으로 움직이고 있고, 15개 이상 산업에서 120여 고객과의 실천도 도시 AI 컴퓨팅 센터에 표준 정답이 없음을 보여준다. 핵심은 연산을 가능한 한 작업에 가깝게 두는 것이다.