Edge AI (AI biên)

Trí tuệ nhân tạo biên (Edge AI) đề cập đến việc triển khai các thuật toán và mô hình trí tuệ nhân tạo (AI) trực tiếp trên các thiết bị phần cứng cục bộ—như điện thoại thông minh, cảm biến IoT, máy bay không người lái và xe kết nối—thay vì dựa vào các trung tâm điện toán đám mây tập trung. Cách tiếp cận phi tập trung này cho phép dữ liệu được xử lý ngay tại nguồn tạo ra nó, giảm đáng kể độ trễ liên quan đến việc gửi và nhận thông tin đến các máy chủ từ xa. Bằng cách thực hiện các tác vụ học máy (ML) cục bộ, các thiết bị có thể đưa ra quyết định tức thời, hoạt động đáng tin cậy mà không cần kết nối internet và tăng cường quyền riêng tư dữ liệu bằng cách giữ thông tin nhạy cảm trên chính thiết bị đó.

Edge AI Hoạt Động Như Thế Nào

Cốt lõi của Trí tuệ nhân tạo biên (Edge AI) là chạy một công cụ suy luận trên hệ thống nhúng. Vì các thiết bị biên thường có thời lượng pin và sức mạnh tính toán hạn chế so với máy chủ đám mây, nên các mô hình AI phải có hiệu quả cao. Các nhà phát triển thường sử dụng các kỹ thuật như lượng tử hóa mô hình hoặc cắt tỉa mô hình để nén các mạng nơ-ron lớn mà không làm giảm đáng kể độ chính xác.

Các bộ tăng tốc phần cứng chuyên dụng thường được sử dụng để xử lý hiệu quả các khối lượng công việc này. Ví dụ bao gồm nền tảng NVIDIA Jetson dành cho robot và Google Coral Edge TPU dành cho suy luận tiết kiệm năng lượng. Các khung phần mềm cũng đóng vai trò quan trọng; các công cụ như TensorRT và TFLite tối ưu hóa các mô hình đặc biệt cho các môi trường bị hạn chế này, đảm bảo suy luận thời gian thực nhanh chóng.

So sánh Edge AI và Edge Computing

Mặc dù các thuật ngữ này thường được sử dụng thay thế cho nhau, nhưng việc phân biệt giữa chúng là rất hữu ích:

• Điện toán biên (Edge Computing ): Thuật ngữ này mô tả cơ sở hạ tầng vật lý và cấu trúc mạng rộng hơn, nơi quá trình xử lý dữ liệu diễn ra gần nguồn dữ liệu. Nó chính là "vị trí" trong phương trình.
• Trí tuệ nhân tạo biên ( Edge AI): Thuật ngữ này đề cập cụ thể đến các ứng dụng thông minh chạy trên cơ sở hạ tầng đó. Nó là "cái gì". Ví dụ, một camera an ninh hoạt động như một thiết bị điện toán biên, nhưng khi nó sử dụng thị giác máy tính (CV) để nhận dạng một người cụ thể, thì nó đang thực hiện Trí tuệ nhân tạo biên.

Các Ứng dụng Thực tế

Trí tuệ nhân tạo biên (Edge AI) đang chuyển đổi các ngành công nghiệp bằng cách cho phép đưa ra quyết định tự động trong các tình huống quan trọng:

• Xe tự lái: Xe tự lái tạo ra hàng terabyte dữ liệu mỗi ngày. Chúng không thể dựa vào điện toán đám mây để nhận diện người đi bộ hoặc chướng ngại vật do độ trễ tín hiệu. Thay vào đó, chúng sử dụng trí tuệ nhân tạo (AI) tích hợp trên xe để phát hiện vật thể tức thời, đảm bảo an toàn cho hành khách.
• Sản xuất thông minh: Trong IoT công nghiệp (IIoT) , các cảm biến trên sàn nhà máy sử dụng Trí tuệ nhân tạo biên (Edge AI) để bảo trì dự đoán. Bằng cách phân tích dữ liệu rung động và nhiệt độ tại chỗ, hệ thống có thể... detect Phát hiện các bất thường và dự đoán sự cố thiết bị trong thời gian thực, giúp ngăn ngừa thời gian ngừng hoạt động tốn kém.
• Chăm sóc sức khỏe: Các thiết bị y tế di động được trang bị Trí tuệ nhân tạo thị giác (Vision AI) có thể phân tích hình ảnh y tế hoặc các chỉ số sinh học của bệnh nhân trực tiếp tại điểm chăm sóc, cung cấp hỗ trợ chẩn đoán tức thì ở các khu vực xa xôi có kết nối mạng kém.

Triển khai mô hình đến Edge

Việc triển khai mô hình lên thiết bị biên thường bao gồm việc huấn luyện mô hình trong môi trường tính toán hiệu năng cao, sau đó xuất mô hình sang định dạng tương thích với các thiết bị biên, chẳng hạn như ONNX hoặc... OpenVINO Nền tảng Ultralytics đơn giản hóa quy trình này, cho phép người dùng huấn luyện và tự động xuất các mô hình cho nhiều mục tiêu biên khác nhau.

Ví dụ sau đây minh họa cách xuất một mô hình YOLO26 nhẹ—được thiết kế đặc biệt để tối ưu hiệu quả—sang định dạng phù hợp cho việc triển khai trên thiết bị di động và thiết bị biên.

from ultralytics import YOLO

# Load the YOLO26 Nano model, which is optimized for speed on edge devices
model = YOLO("yolo26n.pt")

# Export the model to TFLite format for deployment on Android or Raspberry Pi
# This creates a 'yolo26n.tflite' file ready for edge inference
model.export(format="tflite")

Các triển khai điện toán biên tiên tiến thường sử dụng công nghệ container hóa như Docker để đóng gói ứng dụng, đảm bảo chúng hoạt động nhất quán trên các kiến ​​trúc thiết bị khác nhau, từ các thiết bị Raspberry Pi đến các cổng công nghiệp.