Khám phá cách Edge AI và NVIDIA những cải tiến của 's, như Jetson, Triton , Và TensorRT , đang đơn giản hóa việc triển khai các ứng dụng thị giác máy tính.
Nhờ những tiến bộ gần đây trong lĩnh vực thị giác máy tính và trí tuệ nhân tạo (AI), lĩnh vực từng chỉ là một lĩnh vực nghiên cứu hiện đang thúc đẩy các ứng dụng có tác động trong nhiều ngành công nghiệp. Từ xe tự lái đến hình ảnh y tế và an ninh, các hệ thống thị giác máy tính đang giải quyết các vấn đề thực tế ở quy mô lớn.
Nhiều ứng dụng trong số này liên quan đến việc phân tích hình ảnh và video theo thời gian thực và việc dựa vào điện toán đám mây không phải lúc nào cũng khả thi do độ trễ, chi phí và các vấn đề về quyền riêng tư. Edge AI là giải pháp tuyệt vời trong những tình huống này. Bằng cách chạy các mô hình Vision AI trực tiếp trên các thiết bị biên, doanh nghiệp có thể xử lý dữ liệu nhanh hơn, tiết kiệm hơn và bảo mật hơn, giúp AI theo thời gian thực dễ tiếp cận hơn.
Trong YOLO Vision 2024 (YV24) , sự kiện kết hợp thường niên do Ultralytics , một trong những chủ đề chính là dân chủ hóa Vision AI bằng cách triển khai thân thiện với người dùng và hiệu quả hơn. Guy Dahan , Kiến trúc sư giải pháp cao cấp tại NVIDIA , thảo luận về cách NVIDIA Các giải pháp phần cứng và phần mềm của, bao gồm các thiết bị điện toán biên, máy chủ suy luận, khuôn khổ tối ưu hóa và SDK triển khai AI, đang giúp các nhà phát triển tối ưu hóa AI tại biên.
Trong bài viết này, chúng ta sẽ khám phá những điểm chính từ bài phát biểu quan trọng của Guy Dahan tại YV24 và cách NVIDIA Những cải tiến mới nhất của Vision AI đang giúp việc triển khai trở nên nhanh hơn và có khả năng mở rộng hơn.
Guy Dahan bắt đầu bài phát biểu của mình bằng cách bày tỏ sự nhiệt tình của mình khi tham gia YV24 trực tuyến và sự quan tâm của mình đối với Ultralytics Python gói và các mô hình YOLO của Ultraalytics, nói rằng, "Tôi đã sử dụng Ultralytics kể từ ngày nó ra mắt. Tôi thực sự thích Ultralytics - Tôi đã sử dụng YOLOv5 thậm chí trước đó nữa, và tôi thực sự đam mê gói sản phẩm này."
Sau đó, ông giới thiệu khái niệm Edge AI, giải thích rằng nó liên quan đến việc chạy các phép tính AI trực tiếp trên các thiết bị như máy ảnh, máy bay không người lái hoặc máy móc công nghiệp, thay vì gửi dữ liệu đến các máy chủ đám mây ở xa để xử lý.
Thay vì chờ hình ảnh hoặc video được tải lên, phân tích và sau đó gửi lại kết quả, Edge AI giúp phân tích dữ liệu ngay lập tức trên chính thiết bị. Điều này giúp hệ thống Vision AI nhanh hơn, hiệu quả hơn và ít phụ thuộc hơn vào kết nối internet. Edge AI đặc biệt hữu ích cho các ứng dụng ra quyết định theo thời gian thực, chẳng hạn như xe tự lái, camera an ninh và nhà máy thông minh.
Sau khi giới thiệu Edge AI, Guy Dahan đã nêu bật những lợi thế chính của nó, tập trung vào hiệu quả, tiết kiệm chi phí và bảo mật dữ liệu. Ông giải thích rằng một trong những lợi ích lớn nhất là độ trễ thấp - vì các mô hình AI xử lý dữ liệu trực tiếp trên thiết bị, không cần phải gửi thông tin lên đám mây và chờ phản hồi.
Edge AI cũng giúp giảm chi phí và bảo vệ dữ liệu nhạy cảm. Gửi lượng lớn dữ liệu lên đám mây, đặc biệt là luồng video, có thể tốn kém. Tuy nhiên, xử lý cục bộ giúp giảm chi phí băng thông và lưu trữ.
Một lợi thế quan trọng khác là quyền riêng tư dữ liệu vì thông tin vẫn nằm trên thiết bị thay vì được chuyển đến máy chủ bên ngoài. Điều này đặc biệt quan trọng đối với các ứng dụng chăm sóc sức khỏe, tài chính và bảo mật, trong đó việc giữ dữ liệu cục bộ và an toàn là ưu tiên hàng đầu.
Dựa trên những lợi ích này, Guy Dahan đã bình luận về việc áp dụng Edge AI ngày càng tăng. Ông lưu ý rằng kể từ NVIDIA giới thiệu Jetson vào năm 2014, mức sử dụng đã tăng gấp mười lần. Ngày nay, hơn 1,2 triệu nhà phát triển đang làm việc với các thiết bị Jetson.
Guy Dahan sau đó tập trung vào các thiết bị NVIDIA Jetson , một họ thiết bị điện toán biên AI được thiết kế để cung cấp hiệu suất cao với mức tiêu thụ điện năng thấp. Các thiết bị Jetson lý tưởng cho các ứng dụng thị giác máy tính trong các lĩnh vực như robot, nông nghiệp, chăm sóc sức khỏe và tự động hóa công nghiệp. "Jetson là thiết bị AI biên được thiết kế riêng cho AI. Tôi thậm chí có thể nói thêm rằng ban đầu chúng được thiết kế chủ yếu cho thị giác máy tính", Guy Dahan nói thêm.
Thiết bị Jetson có ba loại, mỗi loại phù hợp với các nhu cầu khác nhau:
Ngoài ra, Guy Dahan đã chia sẻ về Jetson AGX Thor sắp ra mắt, ra mắt trong năm nay và cho biết nó sẽ cung cấp gấp tám lần GPU (Bộ xử lý đồ họa) hiệu suất, dung lượng bộ nhớ gấp đôi và được cải thiện CPU (Bộ xử lý trung tâm) hiệu suất. Nó được thiết kế riêng cho robot hình người và các ứng dụng AI tiên tiến.
Sau đó, Guy Dahan chuyển sang thảo luận về khía cạnh phần mềm của Edge AI và giải thích rằng ngay cả với phần cứng mạnh mẽ, việc triển khai các mô hình hiệu quả vẫn có thể là một thách thức.
Một trong những rào cản lớn nhất là khả năng tương thích, vì các nhà phát triển AI thường làm việc với các khuôn khổ AI khác nhau như PyTorch Và TensorFlow . Việc di chuyển giữa các khuôn khổ này có thể khó khăn, đòi hỏi các nhà phát triển phải tạo lại môi trường để đảm bảo mọi thứ chạy chính xác.
Khả năng mở rộng là một thách thức quan trọng khác. Các mô hình AI đòi hỏi sức mạnh tính toán đáng kể và như Dahan đã nói, "Chưa bao giờ có một công ty AI nào muốn ít tính toán hơn". Việc mở rộng các ứng dụng AI trên nhiều thiết bị có thể nhanh chóng trở nên tốn kém, khiến việc tối ưu hóa trở nên cần thiết.
Ngoài ra, các đường ống AI rất phức tạp, thường liên quan đến các loại dữ liệu khác nhau, xử lý thời gian thực và tích hợp hệ thống. Các nhà phát triển đã nỗ lực rất nhiều để đảm bảo các mô hình của họ tương tác liền mạch với các hệ sinh thái phần mềm hiện có. Vượt qua những thách thức này là một phần quan trọng để triển khai AI hiệu quả hơn và có khả năng mở rộng hơn.
Tiếp theo, Guy Dahan chuyển sự chú ý của mình sang NVIDIA Triton Inference Server . Ông chỉ ra rằng nhiều công ty và công ty khởi nghiệp bắt đầu phát triển AI mà không tối ưu hóa hoàn toàn các mô hình của họ. Việc thiết kế lại toàn bộ quy trình AI từ đầu có thể gây gián đoạn và tốn thời gian, khiến việc mở rộng quy mô hiệu quả trở nên khó khăn.
Thay vì yêu cầu phải đại tu toàn bộ hệ thống, Triton cho phép các nhà phát triển dần dần tinh chỉnh và tối ưu hóa quy trình làm việc AI của họ, tích hợp các thành phần hiệu quả hơn mà không phá vỡ thiết lập hiện có của họ. Với sự hỗ trợ cho nhiều khuôn khổ AI, bao gồm TensorFlow , PyTorch , ONNX , Và TensorRT , Triton cho phép triển khai liền mạch trên các môi trường đám mây, trung tâm dữ liệu và thiết bị biên với những điều chỉnh tối thiểu.
Dưới đây là một số lợi thế chính của NVIDIA 'S Triton Máy chủ suy luận:
Giả sử bạn đang tìm kiếm khả năng tăng tốc nhiều hơn nữa; NVIDIA TensorRT là một lựa chọn thú vị để tối ưu hóa các mô hình AI của bạn. Guy Dahan đã giải thích rằng TensorRT là một trình tối ưu hóa học sâu hiệu suất cao được xây dựng cho NVIDIA GPU. Các mô hình từ TensorFlow , PyTorch , ONNX và MXNet có thể được chuyển đổi thành hiệu quả cao GPU -tệp thực thi sử dụng TensorRT .
Điều gì làm cho TensorRT rất đáng tin cậy là khả năng tối ưu hóa phần cứng cụ thể của nó. Một mô hình được tối ưu hóa cho các thiết bị Jetson sẽ không hoạt động hiệu quả trên các GPU khác vì TensorRT tinh chỉnh hiệu suất dựa trên phần cứng mục tiêu. Một mô hình thị giác máy tính được tinh chỉnh có thể dẫn đến tăng tốc độ suy luận lên đến 36 lần so với các mô hình chưa được tối ưu hóa.
Guy Dahan cũng đã kêu gọi sự chú ý đến Ultralytics ' hỗ trợ cho TensorRT , nói về cách nó giúp triển khai mô hình AI nhanh hơn và hiệu quả hơn. Ultralytics YOLO các mô hình có thể được xuất trực tiếp sang TensorRT định dạng, cho phép các nhà phát triển tối ưu hóa chúng cho NVIDIA GPU mà không cần phải thực hiện bất kỳ thay đổi nào.
Kết thúc bài nói chuyện bằng một điểm nhấn, Guy Dahan đã giới thiệu DeepStream 7.0 - một khuôn khổ AI được thiết kế để xử lý dữ liệu video, âm thanh và cảm biến theo thời gian thực bằng cách sử dụng NVIDIA GPU. Được xây dựng để hỗ trợ các ứng dụng thị giác máy tính tốc độ cao, nó cho phép phát hiện, theo dõi và phân tích đối tượng trên các hệ thống tự động, bảo mật, tự động hóa công nghiệp và thành phố thông minh. Bằng cách chạy AI trực tiếp trên các thiết bị biên, DeepStream loại bỏ sự phụ thuộc vào đám mây, giảm độ trễ và cải thiện hiệu quả.
Cụ thể, DeepStream có thể xử lý video được hỗ trợ bởi AI từ đầu đến cuối. Nó hỗ trợ quy trình làm việc từ đầu đến cuối, từ giải mã video và xử lý trước đến suy luận AI và xử lý hậu kỳ.
Gần đây, DeepStream đã giới thiệu một số bản cập nhật để nâng cao việc triển khai AI, giúp việc triển khai dễ tiếp cận và có khả năng mở rộng hơn. Các công cụ mới đơn giản hóa quá trình phát triển, cải thiện khả năng theo dõi nhiều camera và tối ưu hóa các đường ống AI để có hiệu suất tốt hơn.
Các nhà phát triển hiện đã mở rộng hỗ trợ cho môi trường Windows, tăng cường khả năng kết hợp cảm biến để tích hợp dữ liệu từ nhiều nguồn và truy cập vào các ứng dụng tham chiếu được xây dựng sẵn để đẩy nhanh quá trình triển khai. Những cải tiến này giúp DeepStream trở thành giải pháp linh hoạt và hiệu quả hơn cho các ứng dụng AI thời gian thực, giúp các nhà phát triển dễ dàng mở rộng quy mô phân tích video thông minh.
Như được minh họa trong bài phát biểu quan trọng của Guy Dahan tại YV24, Edge AI đang định nghĩa lại các ứng dụng thị giác máy tính. Với những tiến bộ về phần cứng và phần mềm, xử lý thời gian thực đang trở nên nhanh hơn, hiệu quả hơn và tiết kiệm chi phí hơn.
Khi ngày càng nhiều ngành công nghiệp áp dụng Edge AI, việc giải quyết các thách thức như phân mảnh và sự phức tạp trong triển khai sẽ là chìa khóa để khai thác toàn bộ tiềm năng của nó. Việc áp dụng những đổi mới này sẽ thúc đẩy các ứng dụng AI thông minh hơn, phản ứng nhanh hơn, định hình tương lai của thị giác máy tính.
Hãy trở thành một phần trong cộng đồng đang phát triển của chúng tôi ! Khám phá kho lưu trữ GitHub của chúng tôi để tìm hiểu thêm về AI và xem các tùy chọn cấp phép của chúng tôi để khởi động các dự án Vision AI của bạn. Bạn có tò mò về những đổi mới như AI trong chăm sóc sức khỏe và thị giác máy tính trong sản xuất không ? Hãy truy cập các trang giải pháp của chúng tôi để tìm hiểu thêm!
Bắt đầu hành trình của bạn với tương lai của machine learning
