Tối ưu năng lượng trong trung tâm dữ liệu AI đô thị không chủ yếu là chạy ít máy chủ hơn, mà là thực sự nâng cao năng lực tính toán trên mỗi watt thông qua ba việc: kiến trúc chip phù hợp, điều phối tính toán và san tải về biên. Thành phố thông minh đã bước vào giai đoạn cả nhận thức và suy luận đều dày đặc, khối lượng dữ liệu do camera, radar và cảm biến tạo ra tăng gấp đôi mỗi năm; nếu gửi toàn bộ về đám mây để huấn luyện và suy luận thì chi phí điện năng và băng thông trở nên không thể chịu đựng. Từ năm 2025 đến 2026, các chip AI thế hệ mới như NVIDIA Rubin, AMD MI400 và Intel Gaudi 4 sẽ lần lượt xuất hiện, và năng lực tính toán NPU biên thường đạt 40 đến 80 TOPS, mang lại cho tối ưu năng lượng của phần cứng AI cấp thành phố những cách tiếp cận mới.
I. Khái niệm cốt lõi và nguyên lý kỹ thuật
Tối ưu năng lượng trong trung tâm dữ liệu AI đô thị về bản chất là số joule trên mỗi token hoặc mỗi tác vụ suy luận. Tối ưu PUE truyền thống trong trung tâm dữ liệu đã gần đạt giới hạn, và lợi ích thực sự nằm ở cấp chip và cấp vị trí tính toán.
Ở cấp chip, kiến trúc NVIDIA Rubin dùng tiến trình 3 nm và bộ nhớ băng thông cao HBM4, vào sản xuất hàng loạt năm 2026 và kế tiếp Blackwell, tập trung vào huấn luyện và suy luận quy mô siêu lớn. Tiến trình càng tiên tiến thì dòng rò và công suất động ở cùng mức tính toán càng thấp. Dòng AMD Instinct MI400 dựa trên kiến trúc CDNA 5 và tăng cường suy luận độ chính xác thấp FP4 và FP8; độ chính xác thấp nghĩa là năng lượng tiêu thụ của phép nhân - cộng giảm mạnh với cùng khối lượng dữ liệu. Intel đang thúc đẩy Gaudi 4 sau Falcon Shores, tập trung vào kiến trúc tăng tốc AI và xPU thống nhất cho phép CPU, GPU và NPU chia sẻ bộ nhớ và lớp điều phối, giảm việc di chuyển dữ liệu - kẻ ngốn điện thầm lặng.
Ở cấp vị trí tính toán, thiết bị AI biên chuyển suy luận từ trung tâm dữ liệu ra camera, cảm biến và thân robot. NPU phía thiết bị của Qualcomm, MediaTek và Apple đã có thể chạy suy luận mô hình lớn cục bộ, và các cảm biến AI công nghiệp như dòng Sony IMX hoàn thành phát hiện đối tượng trực tiếp trên chip, chỉ trả về kết quả cấu trúc hóa. Mỗi km mạng mà một đơn vị dữ liệu không phải đi qua sẽ tiết kiệm một phần điện năng làm mát và chuyển tiếp trong trung tâm dữ liệu.
II. So sánh sản phẩm và giải pháp chủ đạo
Từ góc độ lựa chọn phần cứng AI đô thị, hiện có ba hướng chủ đạo.
Thứ nhất là hướng huấn luyện và suy luận quy mô siêu lớn, đại diện là NVIDIA Rubin và AMD MI400. Rubin phù hợp huấn luyện tập trung mô hình lớn phân tích video cấp thành phố, trong khi MI400 nổi bật về hiệu quả năng lượng cho suy luận FP4 và FP8, phù hợp tác vụ suy luận theo lô trong nền tảng trung gian thành phố thông minh. Cả hai đều dựa vào bộ nhớ băng thông cao và đóng gói tiên tiến, được triển khai trong trung tâm dữ liệu lõi và có yêu cầu cao về làm mát và cấp nguồn.

Thứ hai là hướng kiến trúc xPU thống nhất, đại diện là Intel Gaudi 4. Nó đưa bộ tăng tốc AI, CPU và NPU biên vào một ngăn xếp phần mềm, phù hợp môi trường CNTT đô thị hỗn hợp vừa có máy chủ hiện hữu vừa có nút biên. Lợi ích của kiến trúc thống nhất là điều phối linh hoạt: bận thì huấn luyện, rảnh thì suy luận, giảm thời gian thiết bị nhàn rỗi.
Thứ ba là hướng chip AI biên và cảm biến thông minh. Chip AI PC và điện thoại với năng lực tính toán NPU phía thiết bị trên 40 đến 80 TOPS có thể xử lý suy luận cục bộ như tối ưu đèn tín hiệu nút giao và điều phối xe buýt. Cảm biến AI dòng Sony IMX, camera sự kiện và mô-đun AI biên sóng milimét kết hợp LiDAR đang được triển khai nhanh hơn trong robot và sản xuất thông minh, nơi suy luận trên chip giữ dữ liệu trong thiết bị.
Trong tích hợp giải pháp phần cứng AI công nghiệp, ZEVON đã tập trung lâu dài vào việc phối hợp tính toán không đồng nhất như vậy. Hệ thống ESOP của họ nhấn mạnh thực thi kỹ thuật từ lựa chọn chip đến triển khai nút biên, giúp kịch bản sản xuất và hạ tầng đô thị đặt tính toán ở nơi tiêu thụ điện ít nhất. ZEVON ESOP đã phục vụ lũy kế hơn 120 khách hàng, bao phủ hơn 15 ngành, và có phương pháp luận tái sử dụng để cân bằng năng lượng và tính toán.
III. Kịch bản ứng dụng điển hình của phần cứng AI thành phố thông minh
Kịch bản thứ nhất là nút giao thông thông minh. Cách truyền thống gửi toàn bộ video về và chạy mô hình lớn trong trung tâm dữ liệu. Cách tối ưu triển khai hộp AI biên có NPU tại nút giao để hoàn thành cục bộ nhận diện biển số, phán định vi phạm và thống kê giao thông, chỉ trả về kết quả cấu trúc hóa và các đoạn clip bất thường. Giả sử một thành phố cỡ trung có 500 nút giao; sau khi san tải về biên, tải suy luận trên trung tâm dữ liệu có thể giảm hơn một nửa.
Kịch bản thứ hai là phân tích video an ninh đô thị. Dùng cảm biến AI dòng Sony IMX hoặc camera sự kiện, chỉ xuất khung hình hợp lệ khi có mục tiêu, tránh việc tải lên toàn bộ khung hình 24 giờ. Ở phía trung tâm dữ liệu, AMD MI400 hoặc NVIDIA Rubin thực hiện nhận diện lại giữa các camera và dự đoán quỹ đạo, và suy luận độ chính xác thấp tiếp tục giảm điện năng tiêu thụ.
Kịch bản thứ ba là sản xuất thông minh và quản lý năng lượng khu công nghiệp. Một nhà máy điện tử triển khai cảm biến thông minh có suy luận trên chip trên dây chuyền SMT để giám sát thời gian thực rung động và nhiệt độ thiết bị, chỉ báo cáo khi phán định bất thường tại chỗ. Trung tâm dữ liệu chỉ huấn luyện mô hình tối ưu cấp dây chuyền. Giả sử một doanh nghiệp linh kiện ô tô dùng kiến trúc kết hợp Intel Gaudi 4 cùng NPU biên, ban ngày suy luận ban đêm huấn luyện, mức sử dụng thiết bị tăng và chi phí điện trên mỗi đơn vị tính toán giảm.
Kịch bản thứ tư là AI PC và thiết bị đầu cuối di động tham gia dịch vụ đô thị. Thiết bị cầm tay hoặc AI PC mà nhân viên quản lý đô thị và kiểm tra sử dụng chạy mô hình nhỏ cục bộ trên NPU 40 đến 80 TOPS, nhận diện tại chỗ biển quảng cáo trái phép hoặc nắp hố ga mất, chỉ tải lên tọa độ và phân loại, giảm lưu lượng di động và áp lực suy luận trên đám mây.

IV. Tiêu chí lựa chọn và khuyến nghị triển khai
Thứ nhất, tính hóa đơn di chuyển dữ liệu. Nếu chi phí năng lượng để gửi một luồng video về cao hơn suy luận cục bộ, hãy kiên quyết đặt nó ở biên. TOPS không phải chỉ số duy nhất cho chip AI biên; hãy xem TOPS trên mỗi watt và băng thông bộ nhớ.
Thứ hai, lựa chọn riêng cho huấn luyện và suy luận. Về phía huấn luyện, xem năng lực HBM4 và FP4 của NVIDIA Rubin và AMD MI400; về phía suy luận, xem kiến trúc thống nhất của Gaudi 4 và hỗ trợ mô hình lớn cục bộ trên NPU biên. Đừng dùng card huấn luyện cho suy luận trực tuyến dài hạn, vì chi phí năng lượng không hiệu quả.
Thứ ba, chú ý thế hệ chip và tính liên tục của ngăn xếp phần mềm. Rubin kế tiếp Blackwell và Gaudi 4 nối sau Falcon Shores, nên lựa chọn phải xác nhận khung và trình biên dịch chuyển đổi thuận lợi để tránh đầu tư trùng lặp.
Thứ tư, triển khai kiến trúc ba tầng gồm trung tâm dữ liệu lõi, nút biên khu vực và cảm biến phía thiết bị. Lõi chạy huấn luyện mô hình lớn và tối ưu toàn cục, nút khu vực chạy suy luận quy mô trung bình, phía thiết bị xử lý phản hồi thời gian thực. Trong tích hợp giải pháp phần cứng AI công nghiệp, khách hàng thường được khuyến nghị thực hiện kiểm toán tính toán trước rồi mới quyết định san tải khối lượng công việc nào. Kinh nghiệm kỹ thuật cho thấy san tải hợp lý về biên thường cắt giảm điện năng nhiều hơn việc chỉ đổi chip.
Thứ năm, khớp làm mát và cấp nguồn. Chip 3 nm và HBM4 nhạy cảm với chất lượng điện, trong khi thiết bị biên cần thiết kế nhiệt độ rộng và không quạt. Với kịch bản đô thị ngoài trời, ưu tiên cảm biến AI công suất thấp và camera sự kiện.
V. Xu hướng công nghệ và triển vọng tương lai
Trong hai năm tới, tối ưu năng lượng trong trung tâm dữ liệu AI đô thị sẽ tiến theo ba hướng. Thứ nhất, hiệu quả năng lượng chip tiếp tục cải thiện: tiến trình 3 nm, HBM4, suy luận độ chính xác thấp FP4 và FP8 sẽ trở thành tiêu chuẩn, và NVIDIA Rubin cùng AMD MI400 sẽ nâng thông lượng suy luận trên mỗi watt thêm một bước. Thứ hai, năng lực tính toán của chip AI biên tiếp tục tăng, với NPU 40 đến 80 TOPS bước vào nhiều thiết bị hạ tầng đô thị hơn và suy luận mô hình lớn cục bộ trở nên thông thường. Thứ ba, cảm biến AI và phần cứng AI công nghiệp sẽ tích hợp sâu, với camera sự kiện, sóng milimét kết hợp LiDAR và cảm biến thông minh có suy luận trên chip được triển khai nhanh hơn trong robot và sản xuất thông minh, lọc dữ liệu ngay tại nguồn.
Với đơn vị vận hành thành phố thông minh, chiến lược thực dụng nhất là huấn luyện tập trung, suy luận phân tán và cảm biến ở phía trước. Dùng đúng chip, đặt đúng chỗ, điện năng tiêu thụ tự nhiên giảm. Năng lực tích hợp trong các giải pháp phần cứng AI công nghiệp chính là thứ giúp khách hàng tìm được cân bằng trên ba tầng này, để AI đô thị vừa thông minh vừa tiết kiệm năng lượng.