지식 센터
목차

도시급 AI 추론 플랫폼의 하드웨어 선정

도시급 AI 추론 플랫폼의 하드웨어 선정에서 지금 가장 중요한 것은 최고 연산이 아니라 와트당 추론 처리량과 메모리 대역폭이 다중 영상 스트림 동시 분석을 지원할 수 있는지입니다. 지난 2년간 지역 지능형 컴퓨팅 센터는 학습 카드를 쌓는 데 바빴지만 오늘날 영상 분석과 교통 흐름 예측, 이벤트 검출 같은 추론 워크로드가 일상 운영을 지배하고 있어 하드웨어 선정 논리가 달라졌습니다.

1. 핵심 개념과 기술 원리

도시급 AI 추론 플랫폼은 독립 추론 서버와 같지 않습니다. 수천 개의 영상 스트림을 수용하고 수십 개 알고리즘 모델을 동시에 실행해야 하며, 핵심 하드웨어 요구는 세 가지에 집중됩니다. 첫째는 메모리 대역폭입니다. 디코딩된 영상의 텐서가 GPU를 끊임없이 드나들며 HBM2e와 HBM3의 차이가 동시 채널 수에 직접 나타납니다. 둘째는 저정밀 추론 능력입니다. INT8과 FP8 처리량은 흔히 FP16의 몇 배이고 도시 영상 분석은 정밀도에 크게 민감하지 않으므로 정밀도를 채널 수와 맞바꾸는 것이 표준 관행입니다. 셋째는 코덱 유닛입니다. 연산 코어와 독립된 하드웨어 디코더는 연산을 크게 아끼며 NVIDIA의 NVDEC과 Intel의 Quick Sync가 이런 설계입니다. CPU 측에서는 PCIe 레인 수가 중요해 카드 사이에서 데이터가 막히지 않게 해야 합니다.

2. 주류 제품과 솔루션 비교

도시급 추론 플랫폼의 연산 기반은 현재 세 가지 주요 노선입니다. 하나는 범용 GPU 노선으로, NVIDIA의 Blackwell Ultra(GB300)가 HBM4 메모리와 매우 높은 카드당 메모리 대역폭으로 추론 성능을 강조해 영상 채널이 밀집한 대규모 노드에 적합하고, AMD MI350/MI400 시리즈는 CDNA4 아키텍처와 3nm 공정으로 메모리 용량 우위를 가지며 대형 모델 추론 시나리오에서 경쟁력이 올라가고 있습니다. 다른 하나는 전용 가속기 노선으로, Intel Gaudi 시리즈가 전력 효율과 개방형 생태계에 집중하고 18A 공정 Panther Lake 플랫폼과 함께 전력에 민감하고 단일 벤더 종속을 피하려는 도시 프로젝트에 적합합니다. 셋째는 엣지 측 NPU 노선으로, 퀄컴과 미디어텍, 애플의 고연산 저전력 NPU 칩이 AI PC와 AI 스마트폰 연산을 수십 TOPS 수준으로 끌어올려 도시의 엣지 추론 박스와 스마트 가로등, 차내 장치가 프런트엔드 전처리에 이런 칩을 사용하고 구조화 결과를 중앙으로 반환해 백본 네트워크 압력을 줄이고 있습니다. 세 노선은 서로 대체가 아니며 도시급 플랫폼은 보통 중앙에 GPU나 전용 가속기로 중부하 추론을, 엣지에 NPU로 경량 필터링을 둡니다.

3. 스마트 시티 AI 하드웨어의 대표 응용 시나리오

교통 교차로는 전형적인 시나리오입니다. 한 도시 구역에 교차로 800개가 있고 각각 영상 채널이 6개라면 모든 것을 중앙으로 되돌려 보내는 것은 비현실적이므로 보통 엣지 추론 모듈이 프런트엔드에서 번호판 인식과 예비 이벤트 스크리닝을 수행하고 중앙 플랫폼은 의심 클립과 전역 흐름 예측만 처리합니다. 전자 공장 주변 캠퍼스 도로도 이 계층형 아키텍처를 채택해 엣지 박스가 경량 모델을 실행하고 중앙이 궤적 재구성을 수행합니다. 노점 침범 검출과 건설 트럭 식별 같은 도시 관리 작업도 마찬가지입니다. 알고리즘 개선이 빠르고 추론 플랫폼이 컨테이너 배포와 모델 핫 업데이트를 지원해야 하므로 하드웨어 선정 시 메모리가 여러 모델 버전을 동시에 담을 수 있는지 확인해야 합니다. 산업 측의 이벤트 카메라와 스마트 비전 센서도 도시 보안에 들어오고 있습니다. 이런 센서는 전체 프레임 대신 이벤트 스트림을 출력해 백엔드 추론 플랫폼의 인터페이스 호환성에 새로운 요구를 부과합니다.

4. 선정 기준과 구축 권장 사항

카드를 고르기 전에 채널 수를 계산합니다. 접속할 영상 채널 수와 채널당 프레임레이트, 알고리즘 복잡도를 총 추론 처리량 수요로 환산하고 30%의 여유를 남깁니다. 단일 카드 사양만 보지 말고 섀시 냉각과 전원 이중화를 보십시오. 도시급 플랫폼은 24시간 만부하로 운영되는 경우가 많습니다. 메모리 대역폭은 최고 연산보다 우선합니다. 영상 추론 시나리오에서는 연산 부족보다 대역폭 부족이 더 흔합니다. 코덱 채널 상한에도 주의해야 합니다. 많은 카드가 연산은 충분하지만 디코드 채널이 적어 실제 동시성을 달성하지 못합니다. 소프트웨어 스택 성숙도도 마찬가지로 중요합니다. 추론 프레임워크가 주류 모델에 얼마나 잘 적응하는지, 다중 카드 다중 모델 병렬을 지원하는지가 출시 시간을 직접 좌우합니다. 구축은 중앙 노드와 엣지 노드를 계층적으로 계획해 중앙에는 대용량 메모리 GPU나 전용 가속기를, 엣지에는 저전력 NPU 모듈을 두고 표준 프로토콜로 연결합니다. 15개 이상 산업에서 120곳이 넘는 고객 구축에서 계층형 아키텍처의 운영 비용이 완전 중앙 집중보다 뚜렷하게 낮았습니다.

5. 기술 트렌드와 향후 전망

2026년 전후로 HBM4가 점진적으로 본격화되어 카드당 메모리 대역폭이 한 단계 더 올라가 도시급 플랫폼이 더 많은 영상 채널을 동시에 실행할 수 있게 됩니다. 칩렛 설계는 가속기 벤더가 연산 다이와 IO 다이를 유연하게 조합하게 해 선정에 또 하나의 축을 더합니다. 엣지 NPU 연산도 계속 올라가 프런트엔드가 점점 더 많은 추론을 수행할 수 있으므로 중앙의 압력 구조는 영상 디코딩에서 교차 모달 융합 분석으로 옮겨갑니다. 개방형 생태계 명령어 집합과 소프트웨어 스택도 성숙해 도시 프로젝트의 단일 벤더 의존이 줄어듭니다. 전체적으로 도시급 AI 추론 플랫폼의 하드웨어 선정은 연산을 쌓는 것에서 연산과 대역폭, 전력 효율, 생태계의 균형으로 옮겨가고 있으며, 시나리오 계층별 구성이 가장 비싼 카드를 일괄 구매하는 것보다 비용 효율적입니다.

주제: AI 하드웨어 백과