지식 센터
목차

도시 단위 AI 추론 플랫폼의 하드웨어 선정

도시 단위 AI 추론 플랫폼의 하드웨어 선정에 대한 핵심 답은 연산을 세 계층으로 나누는 것입니다. 중앙은 GPU나 전용 가속기로 대형 모델 추론과 영상 구조화를 처리하고, 엣지는 NPU 추론 박스로 도로변과 캠퍼스의 저지연 작업을 처리하며, 프런트엔드는 스마트 센서와 이벤트 카메라로 1차 필터링을 수행합니다. 세 계층은 모든 추론을 중앙 장비실에 쌓는 것이 아니라 대역폭과 지연 요구로 역할을 나눕니다. 이하에서 이 프레임워크를 풀어 설명합니다.

1. 도시 단위 AI 추론 플랫폼이 해결하는 것

도시 전역의 방대한 영상 스트림, IoT 데이터, 센서 신호를 실시간으로 이해하는 문제를 해결합니다. 중간 규모 도시 구역 하나에서 하루에 페타바이트급 카메라 데이터가 생성되며, 이를 모두 중앙으로 보내는 것은 경제적이지도 필요하지도 않습니다. 플랫폼 하드웨어의 본질은 이해 작업을 계층별로 완료하는 것입니다. 교차로 촬영, 위반 검지, 인파 계수 같은 밀리초급 작업은 엣지에 남기고, 카메라 간 궤적 재구성, 대형 모델 의미 검색, 다중 모달 사건 분석은 중앙에 둡니다. 하드웨어 선정의 첫 질문은 어떤 카드를 사느냐가 아니라, 어떤 추론 작업이 엣지에 남아야 하고 어떤 작업을 중앙으로 집중할 수 있느냐입니다.

2. 주류 연산 방안 비교

중앙은 현재 세 가지 경로가 있습니다. 첫째는 범용 GPU 경로입니다. NVIDIA Blackwell Ultra(GB300)는 추론 성능과 HBM4 메모리 대역폭에 초점을 맞추고, Rubin 아키텍처 로드맵은 공개되어 2026년까지 순차적으로 확대되며, 둘 다 100억 파라미터급 비전 언어 모델과 다채널 영상 구조화를 담당하는 데 적합합니다. AMD Instinct MI350/MI400은 CDNA4 아키텍처와 3 nm 공정을 사용해 대형 모델 학습과 추론에 대안 공급망을 제공합니다. Intel은 Gaudi 3와 Xeon 6 조합으로 가성비 시장을 겨냥하면서 18A 파운드리 경로로 고객을 확대하고 있습니다. 둘째는 전용 추론 가속 카드 경로로, 알고리즘이 비교적 고정되어 있고 와트당 성능을 추구하는 시나리오에 적합합니다. 셋째는 엣지 NPU 경로로, Qualcomm, MediaTek, Apple 등의 고연산 저전력 플랫폼이 AI PC와 엣지 추론 박스를 촘촘히 시장에 내놓았고, 박스 한 대로 수 개에서 십여 개 영상 채널의 로컬 추론을 지원합니다.

비교에서는 세 가지 지표를 봅니다. 메모리 용량은 얼마나 큰 모델을 돌릴 수 있는지, 메모리 대역폭은 동시 채널에서의 처리량, 전력과 냉각은 엣지 캐비닛이 감당할 수 있는지를 결정합니다. 도시 단위 플랫폼에서 흔한 실수는 피크 연산만 보고 대역폭을 무시해, 여러 영상 채널이 동시에 돌면 곧바로 프레임이 떨어지는 것입니다.

3. 이미 적합한 도시 거버넌스 시나리오

한 구역에서 불법 주정차 자동 증거 수집을 도입한다고 가정해 봅시다. 교차로 엣지 박스가 번호판 인식과 주정차 위반 판정을 완료하고 증거 클립만 전송하며 중앙은 심사를 수행해 대역폭 부담이 눈에 띄게 줄어듭니다. 전자 공장에서 캠퍼스 보안을 처리하는 경우, 이벤트 카메라가 빠르게 움직이는 대상을 포착하고 스마트 비전 센서가 구역 침입을 판정하며, 단말 내장 추론 모듈이 영상의 연속 업로드 없이 직접 경보를 출력합니다. 또 다른 예는 자동차 부품 회사의 내부 도로로, 단말 내장 추론을 갖춘 산업용 모듈이 차량 출입을 계수하고 작업자의 안전모 착용 여부를 확인합니다. 이런 작업은 모델이 고정되어 있고 택트가 안정적이므로 엣지 단말로 충분합니다. 산업 품질 검사에서는 고속 컨베이어의 결함 사전 필터링을 이벤트 카메라와 단말 내장 추론으로 처리하는 것도 대규모로 배치되는 방향입니다.

4. 선정과 구축에서 주의할 점

호환성 측면에서 중앙 추론 카드는 주류 추론 프레임워크와 영상 디코딩 라이브러리 지원을 확인해야 하고, 엣지 박스는 GB28181, ONVIF, MQTT, OPC-UA 같은 도시 IoT 공통 프로토콜을 지원해야 합니다. 성능 지표는 TOPS만 보지 말고 목표 모델과 목표 채널 수에서의 실제 프레임 레이트와 종단 간 지연을 명확히 물어야 합니다. 환경 요구 사항에서 도로변 캐비닛은 여름철 45도를 넘을 수 있으므로 광온도 등급과 자연 냉각 능력을 검증하고, 방진과 방습은 실외 등급으로 평가해야 합니다. 구현 절차는 보통 알고리즘과 하드웨어 적응 검증으로 시작해, 소규모로 실제 영상 스트림에서 2주간 운영한 뒤, 마지막으로 구역 단위 배치 확장으로 진행하여 일괄 도입을 피합니다. 비용 구성은 하드웨어 조달만이 아니라 캐비닛 개조, 전원 인입, 네트워크 백홀, 이후 모델 반복을 위한 연산 여유도 포함합니다. 여유를 너무 적게 두면 나중에 카드 교체 비용이 더 커집니다.

5. 이 계층형 방안이 적합한 경우와 그렇지 않은 경우

영상 채널이 많고 작업 유형이 비교적 안정적이며 지연 계층이 명확한 도시 거버넌스와 캠퍼스 보안, 그리고 라인 택트가 안정적이고 유입 자재 일관성이 좋은 산업 검사 작업에 적합합니다. 반사가 강하고 부품 변형이 심한 검사 시나리오는 별도의 광학 평가가 필요해 적합하지 않으며, 알고리즘이 자주 바뀌고 모델이 매주 반복되는 탐색형 프로젝트도 중앙에 연산을 집중하는 편이 더 유연합니다. 또한 현장 네트워크 백홀이 나쁘고 엣지 캐비닛이 전원과 냉각을 보장할 수 없다면 계층형 배치의 비용 효율이 눈에 띄게 떨어지므로, 하드웨어 선정을 논하기 전에 기반 설비를 먼저 해결해야 합니다. 이 분야의 벤더는 ERP 시대부터 수십 년간 일해 왔고 120만 고객에게 서비스하며 누적 수천만 대의 단말을 구축하고 국내외 시장을 커버하는데, 이런 엔지니어링 경험은 계층 간 배치에서 단일 카드 사양보다 참고할 가치가 큰 경우가 많습니다.

주제: AI 하드웨어 백과