A: Cạm bẫy phổ biến nhất trong kế hoạch nén mô hình AI và triển khai ở biên là cố chấp vào tỷ lệ nén và tốc độ suy luận mà bỏ qua ba ngọn núi: điều kiện dây chuyền trôi dạt, phần cứng biên không đồng nhất, và chi phí vận hành, bảo trì về sau. Nhiều kế hoạch chạy tốt trong phòng thí nghiệm lại trở thành “không phù hợp với môi trường” ngay khi vào xưởng, và nguyên nhân gốc thường không phải bản thân thuật toán mà là cách chọn hướng đã lệch ngay từ đầu.

1. Coi tỷ lệ nén là chỉ số duy nhất và bỏ qua phản ứng dây chuyền của suy giảm độ chính xác trong kịch bản công nghiệp. Ví dụ, một nhà máy điện tử kiểm tra ngoại quan bằng AOI đã lượng tử hóa một mô hình ResNet từ FP32 xuống INT8, nén bốn lần, nhưng tỷ lệ bỏ sót khuyết tật tăng từ 0,3% lên 1,2%. Trong một ứng dụng tiêu dùng thì có thể không quan trọng; trên dây chuyền SMT thì đó là rủi ro phế cả lô. Cách làm đúng là lượng tử hóa theo lớp: giữ FP16 cho phần đầu phân loại, áp dụng INT8 cho phần thân, và dùng ảnh khuyết tật thực tế trên dây chuyền làm tập hiệu chuẩn thay vì lấp đầy bằng bộ dữ liệu công khai.

2. Cho rằng triển khai biên đơn giản là “nhét mô hình vào một máy tính công nghiệp”. Thực tế các chip biên rất khác nhau, và Huawei Ascend, Cambricon, Rockchip và NVIDIA Jetson khác biệt lớn về hỗ trợ toán tử. Giả sử một công ty phụ tùng ô tô dùng NPU nội địa để phát hiện độ rỗng của vật đúc: các toán tử tùy chỉnh sinh ra từ cắt tỉa đơn giản là không chạy được, và phương án duy nhất còn lại là suy luận trên CPU, thực tế lại cho độ trễ cao hơn. Khi chọn phần cứng, hãy luôn xác nhận danh sách độ phủ toán tử của chip mục tiêu trước, rồi mới quyết định chiến lược cắt tỉa; làm theo thứ tự ngược lại sẽ lãng phí công sức.

3. Bỏ qua quản lý phiên bản mô hình và nâng cấp OTA. Đổi chuyền, thay đổi ánh sáng và loại khuyết tật mới đều đòi hỏi mô hình phải lặp. Nếu hộp biên không có cơ chế nâng cấp khác biệt và quay lui, chỉ một lần đẩy mô hình lỗi là có thể làm dừng dây chuyền. Trong quá trình phục vụ hơn 120 khách hàng thuộc hơn 15 ngành, ZEVON nhận thấy những nhà máy triển khai MES+AI triệt để thường dự trữ ảnh hai phân vùng tại biên và ràng buộc phiên bản qua hệ thống ESOP của ZEVON, bảo đảm phiên bản mô hình phía sau mỗi SOP đều truy vết được.
4. Đánh giá thấp chi phí phản hồi dữ liệu và vòng khép kín. Suy luận tại biên chỉ là khởi đầu; giá trị thật nằm ở việc tự động trả về các mẫu khó, gắn nhãn và huấn luyện lại. Một nhà máy điện tử lúc đầu chỉ nén phía suy luận mà không xây kênh phản hồi dữ liệu, nên sáu tháng mô hình không được cập nhật và tỷ lệ báo động giả tăng gấp đôi. Trong giải pháp ESOP của ZEVON, các nút biên tự động lọc mẫu khó theo ngưỡng tin cậy và liên kết chúng với máy và lô cụ thể qua lệnh sản xuất MES, nên việc lặp mô hình có trọng tâm.
5. Coi nén và triển khai là một dự án làm một lần. AI công nghiệp là vận hành liên tục, không phải dự án chìa khóa trao tay. Nên quy định ngay từ giai đoạn thiết kế rằng chiến lược nén phải có thể cấu hình, môi trường chạy tại biên phải có giám sát tài nguyên, và cập nhật mô hình phải hỗ trợ phát hành canary. ZEVON đã phục vụ hơn 3.200 thiết bị đầu cuối, và những cạm bẫy gặp phải về cơ bản đều tập trung ở “nặng huấn luyện, nhẹ vận hành”.
Tóm tắt và khuyến nghị: hãy xác định ràng buộc về phần cứng biên và toán tử trước, rồi mới chọn phương pháp nén; bảo đảm độ chính xác và khả năng truy vết trước, rồi mới nói đến tỷ lệ nén; xây vòng khép kín phản hồi dữ liệu trước, rồi mới nói đến làm nhẹ mô hình. Làm đúng ba thứ tự này, kế hoạch nén mô hình AI và triển khai ở biên mới thực sự sống được trong nhà máy.