Trung tâm kiến thức
Mục lục

Tối ưu hiệu quả năng lượng cho trung tâm dữ liệu AI đô thị

Tối ưu việc sử dụng năng lượng trong một trung tâm dữ liệu AI đô thị không còn là chuyện đơn thuần cắt giảm hóa đơn tiền điện, mà là làm cho mỗi watt tính toán tạo ra nhiều kết quả hữu ích hơn trong các tác vụ suy luận. Khi camera đô thị thông minh, cảm biến và các nút biên tăng lên nhanh chóng, cơ cấu tải của các trung tâm dữ liệu phía sau đang chuyển từ lấy huấn luyện làm chủ đạo sang lấy suy luận làm chủ đạo, và các đòn bẩy để tối ưu năng lượng cũng thay đổi theo.

1. Khái niệm cốt lõi và nguyên lý kỹ thuật

Tiêu thụ năng lượng trong một trung tâm dữ liệu AI đô thị tập trung ở ba khu vực: công suất tính toán của card accelerator, công suất của bộ nhớ và liên kết, cùng tổn thất làm mát và phân phối điện. Logic tối ưu tương ứng với ba tầng. Ở tầng chip, hãy nhìn hiệu quả năng lượng, tức là bạn chạy được bao nhiêu TOPS hoặc token mỗi giây trên mỗi watt; NVIDIA Blackwell Ultra (B300) đặt trọng tâm vào hiệu năng suy luận và nâng cấp bộ nhớ HBM4, trong khi dòng AMD MI350 và Intel Gaudi 3 cũng đang đẩy thông lượng suy luận trên mỗi đơn vị công suất. Ở tầng đóng gói, hãy nhìn mật độ tính toán: thiết kế chiplet và đóng gói tiên tiến CoWoS đưa được nhiều đơn vị tính toán và nhiều lớp HBM4 vào cùng một gói, rút ngắn khoảng cách giữa các die và giảm công suất liên kết. Ở tầng hệ thống, hãy nhìn điều phối: chuyển các tác vụ không thời gian thực sang ban đêm hoặc khung giờ giá điện thấp, đẩy việc tiền xử lý thị giác có thể xử lý tại thiết bị xuống các thiết bị AI biên, và giảm khối lượng dữ liệu gửi về cùng tính toán trung tâm lãng phí.

2. So sánh các sản phẩm và phương án chủ đạo

Các lựa chọn tăng tốc thường thấy trong các dự án đô thị thông minh hiện nay chia thành ba hướng. Hướng GPU, với đại diện là NVIDIA B300 và lộ trình kiến trúc Rubin, có hệ sinh thái trưởng thành và phù hợp với phân tích cấu trúc video quy mô lớn cùng suy luận đa phương thức, nhưng công suất trên một card cao và đặt ra yêu cầu khắt khe về nguồn điện và làm mát phòng máy chủ. Dòng AMD MI350 đi theo hướng bộ nhớ lớn và có ưu thế trong các kịch bản đô thị cần giữ nhiều mô hình lớn thường trú cùng lúc, và nhịp của MI400 cũng đáng chú ý. Intel Gaudi 3 và Falcon Shores tập trung vào hiệu quả chi phí và tính mở, phù hợp với các nền tảng cấp quận huyện nhạy cảm ngân sách nhưng có tải suy luận tương đối cố định. Một hướng khác dễ bị bỏ qua là giảm tải xuống biên: các nền tảng suy luận trên thiết bị của Qualcomm và MediaTek cùng NVIDIA Jetson Thor đưa một phần suy luận mô hình lớn lên PC, robot và xe tại chỗ, với trung tâm chỉ làm tổng hợp và phân tích thứ cấp; kiến trúc lấy thiết bị làm trung tâm này thường cắt giảm tổng tiêu thụ năng lượng rõ rệt hơn so với việc thay một card tiết kiệm điện hơn.

3. Các kịch bản ứng dụng điển hình của phần cứng AI cho đô thị thông minh

Giả sử một thành phố cấp tỉnh muốn xây dựng một nền tảng phân tích video giao thông. Nếu tất cả camera tại giao lộ gửi về video thô, phía trung tâm cần giải mã và suy luận nặng và mức tiêu thụ năng lượng vẫn cao. Sau khi chuyển sang cảm biến thị giác thông minh tích hợp NPU và event camera, phía biên chỉ tải lên các đoạn có sự kiện cùng đặc trưng có cấu trúc, và cả băng thông gửi về lẫn khối lượng suy luận trung tâm đều giảm cùng lúc. Một ví dụ khác: một khu công viên làm tuần tra an ninh dùng máy chủ biên để kiểm tra thị giác cục bộ, khép kín vòng tại chỗ với phát hiện xâm nhập và phát hiện khói hoặc lửa, còn trung tâm chỉ nhận các bản tóm tắt cảnh báo. Phía công nghiệp cũng vậy: các máy tính công nghiệp tích hợp NPU thực hiện kiểm tra thị giác và bảo trì dự đoán theo thời gian thực ngay bên cạnh dây chuyền, tránh phải gửi từng khung hình về trung tâm dữ liệu. Điểm chung của các kịch bản này là đặt tính toán ở nơi có dữ liệu, nhờ đó áp lực năng lượng lên trung tâm dữ liệu được phân tán một cách tự nhiên.

4. Điểm lựa chọn và khuyến nghị triển khai

Khi lựa chọn, trước tiên hãy nhìn loại tải suy luận: các tác vụ cấu trúc video tiêu thụ băng thông bộ nhớ và năng lực codec, trong khi các tác vụ hội thoại mô hình lớn tiêu thụ dung lượng HBM và liên kết giữa các card. Sau đó nhìn điều kiện phòng máy chủ: card accelerator công suất cao cần làm mát bằng chất lỏng hoặc làm mát không khí mạnh, và chi phí cải tạo các phòng máy chủ cũ phải được tính trước. Thứ ba, nhìn sự phân công giữa thiết bị, biên và cloud: việc gì có thể khép kín trên thiết bị thì không nên dồn lên trung tâm, và việc gì có thể tổng hợp tại biên thì không nên gửi dữ liệu thô về. Về triển khai, hãy tiến hành theo giai đoạn: trước tiên so le các tác vụ không thời gian thực, sau đó đánh giá tỷ trọng giảm tải xuống biên, và cuối cùng mới cân nhắc thay card accelerator. Nhiều nhà cung cấp giải pháp trong ngành áp dụng kiến trúc hai tầng gồm tiền xử lý tại biên cộng phân tích chính xác tại trung tâm trong các dự án đô thị thông minh, và phản hồi thực tiễn từ hơn 120 khách hàng (bao phủ hơn 15 ngành) dẫn tới cùng một kết luận: muốn tối ưu năng lượng, hãy thay đổi dòng dữ liệu trước, rồi mới chạm vào phần cứng.

5. Xu hướng công nghệ và triển vọng tương lai

Trong ngắn hạn, HBM4 và đóng gói CoWoS sẽ tiếp tục nâng mật độ tính toán của một tủ rack, và làm mát bằng chất lỏng sẽ chuyển từ tùy chọn sang bắt buộc. Trong trung hạn, chiplet cho phép các trung tâm dữ liệu đô thị trộn các chiplet tính toán theo loại tác vụ suy luận, tránh phải trả giá cho tính đa dụng. Về phía biên, các nền tảng như Jetson Thor đưa năng lực suy luận mô hình lớn xuống robot và thiết bị đầu cuối dịch vụ, và sự phân bố năng lượng của AI đô thị sẽ chuyển từ tập trung tại trung tâm sang các tầng thiết bị, biên và cloud. Sự lan rộng của cảm biến AI và event camera sẽ giảm dữ liệu vô ích ngay từ nguồn, và đây có thể là dòng ảnh hưởng bị đánh giá thấp nhất đối với tiêu thụ năng lượng của trung tâm dữ liệu trong những năm tới.

Chủ đề: Bách khoa phần cứng AI