Điện toán biên

Tại sao điện toán biên lại quan trọng đối với AI/ML

Điện toán biên đặc biệt mang tính chuyển đổi đối với Trí tuệ nhân tạo (AI) và ML, đặc biệt là trong lĩnh vực thị giác máy tính (CV) . Nhiều ứng dụng AI, chẳng hạn như những ứng dụng liên quan đến phân tích luồng hình ảnh hoặc video, yêu cầu xử lý dữ liệu cảm biến ngay lập tức để cho phép ra quyết định kịp thời. Việc gửi khối lượng lớn dữ liệu lên đám mây sẽ gây ra sự chậm trễ ( độ trễ ) thường không thể chấp nhận được đối với các tình huống đòi hỏi suy luận thời gian thực . Điện toán biên giải quyết trực tiếp thách thức này bằng cách cho phép các mô hình ML, bao gồm các mô hình phát hiện đối tượng tinh vi như Ultralytics YOLO , chạy trực tiếp trên hoặc gần nguồn dữ liệu. Điều này giúp giảm đáng kể thời gian phản hồi, tiết kiệm băng thông mạng và có thể cải thiện đáng kể quyền riêng tư của dữ liệu bằng cách giữ thông tin nhạy cảm được bản địa hóa, phù hợp với các quy định như GDPR . Sự tiến bộ của phần cứng mạnh mẽ nhưng tiết kiệm năng lượng, chẳng hạn như GPU chuyên dụng như dòng NVIDIA Jetson và bộ tăng tốc như TPU (ví dụ: Google Coral Edge TPU ), được thiết kế riêng cho các thiết bị biên, càng thúc đẩy xu hướng này. Bạn có thể tìm hiểu thêm về việc triển khai các ứng dụng thị giác máy tính trên các thiết bị AI biên .

Điện toán biên so với AI biên

Điều quan trọng là phải phân biệt giữa Edge Computing và Edge AI .

• Điện toán biên: Chỉ cơ sở hạ tầng rộng hơn và thực hành di chuyển các tác vụ tính toán gần hơn với nguồn dữ liệu. Nó bao gồm phần cứng (thiết bị biên, máy chủ, cổng), mạng và hệ thống quản lý cần thiết cho xử lý phân tán. Hãy coi nó như là sân khấu.
• Edge AI: Cụ thể là liên quan đến việc chạy các thuật toán AI và ML trực tiếp trên các thiết bị biên này. Nó tận dụng cơ sở hạ tầng điện toán biên để thực hiện các tác vụ như suy luận cục bộ. Edge AI là hiệu suất diễn ra trên sân khấu.

Về cơ bản, Edge AI là một tập hợp con hoặc một ứng dụng cụ thể của mô hình điện toán biên, tập trung vào việc triển khai các khả năng AI bên ngoài các trung tâm dữ liệu tập trung. Bạn có thể khám phá các ứng dụng Edge AI trong thế giới thực chi tiết hơn.

Ứng dụng AI/ML trong thế giới thực

Điện toán biên cho phép triển khai nhiều ứng dụng AI/ML sáng tạo dựa trên xử lý cục bộ:

• Xe tự hành : Xe tự lái cần xử lý dữ liệu cảm biến (camera, LiDAR) ngay lập tức để điều hướng, tránh chướng ngại vật và ra quyết định. Việc dựa vào đám mây sẽ gây ra độ trễ không thể chấp nhận được. Điện toán biên cho phép các phương tiện như những phương tiện đang được Tesla hoặc Waymo phát triển thực hiện các phép tính AI quan trọng trên bo mạch để vận hành an toàn. Ultralytics các mô hình có thể đóng vai trò trong các giải pháp AI trong ô tô .
• Sản xuất thông minh : Trong các nhà máy, các thiết bị biên được trang bị camera và mô hình AI như YOLO11 có thể thực hiện kiểm tra chất lượng theo thời gian thực trên các dây chuyền sản xuất, phát hiện lỗi ngay lập tức, giám sát sự an toàn của công nhân và tối ưu hóa quy trình mà không cần gửi lượng lớn dữ liệu video lên đám mây. Điều này cải thiện hiệu quả và cho phép can thiệp ngay lập tức. Khám phá cách AI nâng cao sản xuất .
• AI trong chăm sóc sức khỏe : Điện toán biên cho phép theo dõi bệnh nhân theo thời gian thực bằng cảm biến đeo được hoặc camera trong phòng, phân tích ngay lập tức dữ liệu hình ảnh y tế trên các thiết bị cục bộ và cung cấp năng lượng cho các công cụ y tế thông minh cung cấp phản hồi tức thì trong suốt quá trình thực hiện, nâng cao khả năng chăm sóc bệnh nhân và quyền riêng tư dữ liệu .
• Phân tích bán lẻ: Các cửa hàng sử dụng thiết bị biên để quản lý hàng tồn kho bán lẻ thông minh hơn , phân tích hành vi của khách hàng một cách ẩn danh thông qua camera để tối ưu hóa bố cục và cung cấp năng lượng cho các hệ thống thanh toán không cần thu ngân như Amazon Go .

Những cân nhắc chính cho việc triển khai Edge

Việc triển khai thành công các mô hình AI ở biên thường liên quan đến các kỹ thuật và công cụ cụ thể:

• Tối ưu hóa mô hình : Các kỹ thuật như lượng tử hóa mô hình và cắt tỉa mô hình rất quan trọng để giảm kích thước mô hình và yêu cầu tính toán, đảm bảo chúng chạy hiệu quả trên phần cứng biên có tài nguyên hạn chế. Các khuôn khổ như TensorRT và OpenVINO giúp tối ưu hóa mô hình cho phần cứng cụ thể.
• Lựa chọn phần cứng: Việc lựa chọn thiết bị biên phù hợp ( Raspberry Pi , NVIDIA Jetson , Google Coral ) phụ thuộc vào nhu cầu hiệu suất, ngân sách điện năng và điều kiện môi trường của ứng dụng.
• Quản lý và điều phối: Việc quản lý hàng nghìn thiết bị biên phân tán đòi hỏi các công cụ mạnh mẽ để triển khai, giám sát và cập nhật, thường liên quan đến các nền tảng như Kubernetes được điều chỉnh cho biên ( K3s , MicroK8s ) hoặc các nền tảng MLOps chuyên dụng như Ultralytics HUB .
• Bảo mật: Trong khi xử lý biên có thể tăng cường quyền riêng tư của dữ liệu, bản thân các thiết bị biên có thể tạo ra các lỗ hổng bảo mật mới cần được quản lý cẩn thận thông qua khởi động an toàn, giao tiếp được mã hóa và kiểm soát truy cập. Bạn có thể đọc thêm về các biện pháp bảo mật tốt nhất .