Trung tâm kiến thức
Mục lục

Quy hoạch cụm máy chủ AI cho đô thị thông minh

Cốt lõi của việc quy hoạch cụm máy chủ AI cho một đô thị thông minh là triển khai các tải suy luận cấp thành phố như phân tích video, điều phối giao thông, giám sát môi trường và chỉ huy khẩn cấp theo lớp dựa trên yêu cầu thời gian thực, mức đồng thời và độ nhạy cảm dữ liệu, phân bổ giữa phòng thiết bị trung tâm, các nút khu vực và biên, thay vì dồn máy chủ GPU vào một phòng. Một phương án khả thi thường có ba lớp: cụm trung tâm cho huấn luyện và suy luận nặng, các nút suy luận khu vực và các hộp AI biên, phối hợp qua một nền tảng điều phối thống nhất. Làn sóng phần cứng mới quanh năm 2026, gồm NVIDIA GB300/Rubin, AMD MI350/MI400, Intel Gaudi 3 và Xeon 6, đúng lúc mở ra một cửa sổ để thay thế cụm theo thế hệ.

1. Cụm máy chủ AI cho đô thị thông minh thực sự giải quyết điều gì

Các tải AI trong một thành phố khác với trong trung tâm dữ liệu internet. Luồng video đến liên tục suốt ngày đêm, và việc phân tích có cấu trúc một luồng 1080P tiêu tốn nhiều lõi CPU với công suất cao trên các phương án CPU truyền thống; ở hàng trăm hoặc hàng nghìn kênh đồng thời, việc dồn CPU trên máy đơn giản là không đáp ứng được. Một cụm máy chủ AI giải quyết ba việc: gộp năng lực tính toán dị thể để GPU và NPU được cấp phát động theo tác vụ; phân cấp tác vụ suy luận theo yêu cầu độ trễ, giữ những việc cấp mili giây như chụp ảnh tại trạm kiểm soát và phát hiện vi phạm ở biên trong khi đặt tái tạo quỹ đạo liên camera và phân tích sự cố ở nút khu vực; và tách lưu trữ khỏi tính toán, lưu riêng khung hình video, vector đặc trưng và dữ liệu có cấu trúc để băng thông không bị kéo xuống.

Về kỹ thuật, cụm dựa vào GPU có truy cập bộ nhớ trực tiếp để suy luận theo lô, kết hợp các động cơ suy luận như TensorRT và ONNX Runtime để lượng tử hóa mô hình và hợp nhất toán tử, cùng Kubernetes với GPU Operator để điều phối trong container. Việc thu nhận video thường dùng giao thức RTSP hoặc GB28181, được giải mã qua card giải mã hoặc phần mềm trước khi vào đường ống suy luận.

2. So sánh và chọn lựa các phương án tăng tốc AI chủ đạo thế nào

Theo nhóm, nguồn tính toán cho cụm máy chủ AI chia thành ba hướng. Thứ nhất là hướng GPU đa dụng với hệ sinh thái trưởng thành và độ phủ chuỗi công cụ CUDA rộng, phù hợp các nhóm thuật toán tự xây mô hình và lặp thường xuyên, tuy công suất mỗi card cao và yêu cầu tản nhiệt toàn máy nghiêm ngặt. Thứ hai là hướng bộ tăng tốc AI chuyên dụng, dùng kiến trúc lõi tensor hoặc động cơ ma trận với lợi thế chi phí trên mỗi đơn vị năng lực tính toán, phù hợp suy luận quy mô lớn khi cấu trúc mô hình đã ổn định, tuy việc chuyển đổi ngăn xếp phần mềm tốn công. Thứ ba là hướng NPU biên, trong đó các nền tảng tính toán cao công suất thấp của Qualcomm, MediaTek, Apple và các hãng khác đẩy suy luận xuống AI PC và hộp biên, phù hợp xử lý cục bộ phía trước.

Hệ thống bộ nhớ là một hạng mục so sánh dễ bị bỏ qua. Các card tăng tốc thế hệ mới đang chuyển sang HBM3e và HBM4, và băng thông bộ nhớ trực tiếp giới hạn thông lượng suy luận mô hình lớn; mô hình thị giác trong đô thị thông minh thường có vài chục triệu đến vài trăm triệu tham số, nên dung lượng bộ nhớ ảnh hưởng số kênh đồng thời thực tế nhiều hơn năng lực tính toán đỉnh. Về quy trình, các nút như 3 nm và 18A ảnh hưởng hiệu quả năng lượng, và các dự án nhạy cảm với PUE của trung tâm dữ liệu nên tập trung vào số watt trên mỗi kênh video.

3. Những kịch bản đô thị thông minh nào phù hợp với một cụm

Lấy một mạng video chuyên dụng cấp quận thu nhận hai nghìn camera để so khớp khuôn mặt, nhận dạng thuộc tính phương tiện và phát hiện đỗ xe trái phép. So khớp khuôn mặt là tác vụ độ trễ thấp độ đồng thời cao, phù hợp máy chủ suy luận tại nút khu vực, mỗi máy gắn nhiều card suy luận và chia theo số kênh; phát hiện đỗ xe trái phép cần phán đoán theo chuỗi khung hình và có thể sàng lọc trước trên hộp biên, chỉ gửi về các đoạn ứng viên. Trong một kịch bản hỗn hợp tại khu nhà máy điện tử kết hợp an ninh và kiểm tra chất lượng thị giác bên dây chuyền, mô hình kiểm tra có thể đặt trên module biên cạnh dây chuyền trong khi phân tích an ninh chạy trong phòng thiết bị của khuôn viên, tránh rủi ro tuân thủ khi ảnh kiểm tra rời khỏi khuôn viên.

Các kịch bản tối ưu tín hiệu giao thông đòi hỏi hiệu năng thời gian thực cao hơn: thiết bị biên cạnh bộ điều khiển tín hiệu tại nút giao đếm lưu lượng trong khi trung tâm khu vực chạy thuật toán phối hợp trên trục, một cấu trúc phân lớp vững chắc hơn là gửi tất cả về. Với nhận diện khói và lửa cùng phát hiện vật trôi trên sông trong giám sát môi trường, camera phân tán và băng thông hạn chế, nên suy luận phía trước trên camera sự kiện hoặc cảm biến thị giác thông minh tại biên sẽ kinh tế hơn.

4. Những điểm nào cần chú ý khi quy hoạch triển khai

Thứ nhất là quy đổi giữa năng lực tính toán và số kênh. Quy hoạch không được chỉ báo cáo số lượng GPU; hãy ước tính theo năng lực tính toán suy luận mỗi kênh video nhân số kênh đồng thời nhân hệ số dự phòng, thường 1,3 đến 1,5 để bao phủ cao điểm sáng và chiều cùng truy xuất đột xuất. Thứ hai là băng thông mạng và lưu trữ: việc thu nhận video nên dùng mạng riêng so với dữ liệu đặc trưng và dữ liệu có cấu trúc để chúng không tranh chấp. Thứ ba là môi trường phòng thiết bị: một tủ máy chủ GPU mật độ cao dễ vượt 15 kW, gây căng cho làm mát bằng không khí, nên phải đánh giá điều kiện làm mát bằng chất lỏng hoặc cải tạo tấm lạnh. Thứ tư là tương thích mô hình: xác nhận trước khi mua mức hỗ trợ của động cơ suy luận cho mô hình xuất từ các khung chủ đạo, để nhóm thuật toán không buộc phải viết lại. Thứ năm là các bước triển khai, thường tiến từ thử nghiệm biên đến mở rộng nút khu vực rồi đến quản lý cụm trung tâm, với kiểm thử áp lực từng giai đoạn trước khi mở rộng.

Về cơ cấu chi phí, mua sắm phần cứng chiếm khoảng một nửa, trong khi cải tạo phòng thiết bị, mạng, mở rộng công suất điện và nhân sự vận hành chiếm nửa còn lại, và tính chất thường xuyên của phần sau dễ bị đánh giá thấp trong quy hoạch.

5. Phương án này phù hợp và không phù hợp với điều gì

Kịch bản phù hợp: các dự án đô thị thông minh cấp quận hoặc cấp khuôn viên với hàng trăm đến hàng nghìn kênh camera, yêu cầu phân lớp độ trễ rõ ràng, mô hình thuật toán tương đối ổn định và điều kiện phòng thiết bị cơ bản. Kịch bản không phù hợp: dự án nhỏ vài chục kênh video, nơi một hộp biên cộng một máy chủ suy luận là đủ và cụm chỉ thêm phức tạp điều phối; các nhóm có thuật toán còn thử nghiệm thường xuyên, nơi một cụm GPU đa dụng nhỏ linh hoạt hơn bộ tăng tốc chuyên dụng; và các điểm không có điều kiện điện và làm mát mà chưa thể cải tạo sớm, nơi hạ tầng phải được sửa trước khi bàn đến quy mô cụm.

Đánh giá từ kinh nghiệm của một nhà cung cấp đã hoạt động hàng chục năm từ kỷ nguyên ERP, phục vụ 1,2 triệu khách hàng, đã triển khai hàng chục triệu thiết bị đầu cuối và phủ thị trường trong và ngoài nước, thất bại phổ biến nhất trong quy hoạch cụm không phải chọn card mà là ước tính số kênh và phân lớp mạng ở giai đoạn đầu yếu, khiến việc mở rộng về sau ảnh hưởng đến mọi thứ cùng lúc.

Chủ đề: Bách khoa phần cứng AI