Điện toán biên

Tại sao điện toán biên lại quan trọng đối với AI/ML

Điện toán biên đặc biệt có tác động trong lĩnh vực Trí tuệ nhân tạo (AI) và ML, đặc biệt là đối với các tác vụ thị giác máy tính (CV) . Nhiều ứng dụng AI yêu cầu xử lý ngay lập tức dữ liệu cảm biến (như hình ảnh hoặc luồng video) để đưa ra quyết định kịp thời. Việc gửi khối lượng lớn dữ liệu lên đám mây sẽ gây ra sự chậm trễ ( độ trễ ) không thể chấp nhận được đối với các tình huống suy luận thời gian thực . Điện toán biên giải quyết vấn đề này bằng cách cho phép các mô hình ML, chẳng hạn như các mô hình phát hiện đối tượng YOLO Ultralytics , chạy trực tiếp trên hoặc gần nguồn dữ liệu. Điều này giúp giảm đáng kể thời gian phản hồi, tiết kiệm băng thông mạng và có thể cải thiện quyền riêng tư của dữ liệu bằng cách giữ thông tin nhạy cảm được bản địa hóa. Việc phát triển phần cứng mạnh mẽ nhưng hiệu quả như GPU và các bộ tăng tốc chuyên dụng như TPU được thiết kế cho các thiết bị biên càng tạo điều kiện thuận lợi cho xu hướng này. Bạn có thể tìm hiểu thêm về việc triển khai các ứng dụng thị giác máy tính trên các thiết bị AI biên .

Ứng dụng AI/ML trong thế giới thực

Điện toán biên cho phép triển khai nhiều ứng dụng AI/ML sáng tạo:

1. Xe tự hành : Xe sử dụng điện toán biên để xử lý dữ liệu từ camera, LiDAR và các cảm biến khác theo thời gian thực. Điều này cho phép phát hiện vật thể ngay lập tức, lập kế hoạch đường đi và tránh va chạm mà không cần dựa vào kết nối đám mây có khả năng chậm hoặc không khả dụng. Khám phá thêm về AI trong các giải pháp ô tô .
2. IoT công nghiệp và sản xuất thông minh : Các nhà máy triển khai các thiết bị biên để giám sát máy móc bằng thị giác máy tính để kiểm tra chất lượng hoặc bảo trì dự đoán. Phân tích dữ liệu cảm biến tại chỗ cho phép đưa ra cảnh báo và điều chỉnh tức thời, cải thiện hiệu quả và an toàn. Tìm hiểu về AI trong sản xuất .
3. Bán lẻ thông minh : Thiết bị Edge phân tích nguồn cấp dữ liệu camera trong cửa hàng để theo dõi kệ hàng, phân tích hành vi khách hàng hoặc quản lý hàng đợi, tối ưu hóa hoạt động mà không cần truyền cảnh quay video dài. Xem cách AI có thể được sử dụng để quản lý hàng tồn kho bán lẻ thông minh hơn .
4. Giám sát chăm sóc sức khỏe : Các thiết bị đeo được và màn hình theo dõi tại giường có thể sử dụng điện toán biên để phân tích các dấu hiệu sinh tồn tại chỗ, cung cấp cảnh báo ngay lập tức cho các tình trạng nguy kịch, nâng cao chất lượng chăm sóc bệnh nhân như đã thảo luận trong Vision AI trong chăm sóc sức khỏe .

Điện toán biên so với các thuật ngữ liên quan

• Điện toán đám mây : Sự khác biệt chính nằm ở vị trí tính toán. Điện toán đám mây dựa vào các trung tâm dữ liệu tập trung, từ xa cung cấp khả năng mở rộng và lưu trữ lớn, lý tưởng để đào tạo các mô hình ML lớn hoặc xử lý hàng loạt. Điện toán biên tập trung vào xử lý cục bộ, phi tập trung để có độ trễ thấp và nhu cầu thời gian thực. Thường thì, một phương pháp kết hợp được sử dụng, trong đó các mô hình được đào tạo trên đám mây và triển khai đến biên để suy luận. Khám phá các tùy chọn để đào tạo các mô hình trên đám mây với Ultralytics HUB .
• Edge AI : Mặc dù có liên quan chặt chẽ, Edge AI đặc biệt đề cập đến việc thực hiện các thuật toán AI và mô hình ML trực tiếp trên các thiết bị biên. Điện toán biên cung cấp cơ sở hạ tầng rộng hơn (phần cứng, mạng, khả năng xử lý) cho phép Edge AI. Hãy coi điện toán biên là sân khấu và Edge AI là hiệu suất diễn ra trên sân khấu đó. Đọc thêm về cách Edge AI và điện toán biên cung cấp năng lượng cho trí thông minh thời gian thực .
• Điện toán sương mù : Thường được sử dụng thay thế cho điện toán biên, điện toán sương mù thường đề cập đến một lớp tài nguyên điện toán nằm giữa biên cực (thiết bị) và đám mây tập trung, hoạt động như một trung tâm xử lý trung gian. Điện toán biên thường được coi là một khái niệm rộng hơn bao gồm điện toán ở bất kỳ đâu bên ngoài đám mây trung tâm.

Công nghệ cho phép

Việc triển khai các mô hình ML hiệu quả ở biên thường đòi hỏi phải tối ưu hóa phần cứng và phần mềm cụ thể.

• Phần cứng : Thiết bị bao gồm từ bộ vi điều khiển công suất thấp và Hệ thống trên chip (SoC) như Raspberry Pi đến các hệ thống nhúng mạnh hơn như bo mạch NVIDIA Jetson , được trang bị bộ tăng tốc AI chuyên dụng. Xem hướng dẫn triển khai trên NVIDIA Jetson hoặc Raspberry Pi .
• Phần mềm/Khung : Các kỹ thuật tối ưu hóa mô hình như lượng tử hóa và cắt tỉa , cùng với các công cụ suy luận được tối ưu hóa như OpenVINO của Intel hoặc NVIDIA TensorRT , rất quan trọng để chạy các mô hình phức tạp một cách hiệu quả trên phần cứng biên có hạn chế về tài nguyên. Khám phá tích hợp của Ultralytics với OpenVINO và TensorRT . Có nhiều tùy chọn triển khai mô hình khác nhau để tạo điều kiện thuận lợi cho quá trình này.

Điện toán biên đóng vai trò cơ bản trong việc khai thác tiềm năng của AI và ML thời gian thực trên nhiều ngành công nghiệp khác nhau, cho phép triển khai các ứng dụng thông minh nhanh hơn, hiệu quả hơn và riêng tư hơn ngay tại nơi cần nhất.