Xem lại Dmitriy Pastushenkov và Adrian Boguszewski YOLO Tầm nhìn 2024 nói về việc tối ưu hóa YOLO các mô hình với Intel OpenVino và chạy suy luận thời gian thực trên Intel Máy tính AI của 's.
Tầm nhìn YOLO 2024 (YV24) , Ultralytics 'sự kiện kết hợp thường niên, quy tụ những người đam mê AI, nhà phát triển và chuyên gia từ khắp nơi trên thế giới để khám phá những đổi mới mới nhất trong lĩnh vực thị giác máy tính . YV24 là cơ hội và nền tảng tuyệt vời để thảo luận về những đột phá mới. Sự kiện có sự góp mặt của những người chơi chính trong ngành AI giới thiệu những đổi mới mới nhất của họ. Trong số đó có Intel , người đã tham gia sự kiện và trình bày bài phát biểu quan trọng về máy tính AI đột phá mới của họ và sự tích hợp của Intel OpenVino với các mô hình Ultralytics YOLO như Ultralytics YOLO11 .
Buổi nói chuyện được dẫn dắt bởi Adrian Boguszewski , một Nhà truyền bá phần mềm, người đồng sáng tác bộ dữ liệu LandCover.ai và giáo dục các nhà phát triển về Intel 'S OpenVINO toolkit, và Dmitriy Pastushenkov , một Nhà truyền bá AI PC với hơn 20 năm kinh nghiệm trong lĩnh vực tự động hóa công nghiệp và AI. Trong sự kiện, Adrian đã chia sẻ sự phấn khích của mình và nói rằng, "Đây là một sự kiện tuyệt vời ngày hôm nay, không chỉ vì Ultralytics đã cung cấp phiên bản YOLO mới , nhưng cũng vì chúng tôi có thể trình bày mô hình mới này chạy trên phần cứng mới của chúng tôi, cũng như phiên bản mới của OpenVINO "
Trong bài viết này, chúng ta sẽ xem xét những điểm nổi bật chính từ bài phát biểu của Intel tại YV24 , đi sâu vào những chi tiết bên trong và bên ngoài của PC AI của họ, Intel Dòng Core Ultra 200V và cách chúng tích hợp với Ultralytics YOLO mô hình sử dụng OpenVINO bộ công cụ. Hãy bắt đầu thôi!
Dmitriy bắt đầu bài phát biểu chính bằng cách đi sâu vào những khác biệt chính giữa AI truyền thống và AI tạo sinh . Trọng tâm xoay quanh cách các công nghệ này và các trường hợp sử dụng của chúng đang phát triển như thế nào vào năm 2024. Các kỹ thuật AI truyền thống như thị giác máy tính và xử lý ngôn ngữ tự nhiên đã trở nên thiết yếu đối với các nhiệm vụ như ước tính tư thế , phát hiện đối tượng và nhận dạng giọng nói . Tuy nhiên, AI tạo sinh đại diện cho một làn sóng công nghệ AI mới hơn liên quan đến các ứng dụng như chatbot , tạo văn bản thành hình ảnh , viết mã và thậm chí là văn bản thành video .
Dmitriy chỉ ra sự khác biệt về quy mô giữa hai mô hình. Ông giải thích rằng trong khi các mô hình AI truyền thống bao gồm hàng triệu tham số, các mô hình AI tạo sinh hoạt động ở quy mô lớn hơn nhiều. Các mô hình AI tạo sinh thường bao gồm hàng tỷ hoặc thậm chí hàng nghìn tỷ tham số, khiến chúng đòi hỏi nhiều tính toán hơn.
Dmitriy giới thiệu Intel AI PC là giải pháp phần cứng mới được thiết kế để giải quyết những thách thức ngày càng tăng trong việc vận hành hiệu quả cả mô hình AI truyền thống và AI tạo sinh. Intel AI PC là một máy mạnh mẽ và tiết kiệm năng lượng. Nó có khả năng chạy nhiều mô hình AI cục bộ mà không cần xử lý trên nền tảng đám mây.
Xử lý cục bộ giúp giữ dữ liệu nhạy cảm ở chế độ riêng tư . Khi các mô hình AI có thể hoạt động độc lập với kết nối internet, các mối quan ngại về đạo đức của ngành liên quan đến quyền riêng tư và bảo mật sẽ được giải quyết.
Động lực thúc đẩy đằng sau Intel AI PC là Intel Bộ xử lý Core Ultra 200V Series. Bộ xử lý này kết hợp ba thành phần chính: Bộ xử lý trung tâm ( CPU ), Bộ xử lý đồ họa ( GPU ), và Bộ xử lý thần kinh (NPU). Mỗi bộ phận đóng một vai trò cụ thể trong việc xử lý các loại khối lượng công việc AI khác nhau. CPU lý tưởng cho các tác vụ nhỏ hơn, độ trễ thấp đòi hỏi phản hồi nhanh, trong khi GPU được tối ưu hóa cho các hoạt động thông lượng cao như chạy mô hình AI. NPU, được thiết kế để tiết kiệm năng lượng, rất phù hợp cho các tác vụ chạy dài như phát hiện đối tượng theo thời gian thực với các mô hình như YOLO11 .
Người ta đã nhấn mạnh rằng CPU có thể cung cấp tới 5 TOPS (Hàng nghìn tỷ phép tính mỗi giây), GPU lên đến 67 TOPS và NPU cung cấp giải pháp tiết kiệm năng lượng để chạy liên tục các tác vụ AI mà không làm cạn kiệt tài nguyên hệ thống.
Các Intel Bộ xử lý Core Ultra 200V Series tích hợp cả ba công cụ AI - NPU, CPU , Và GPU - thành một con chip nhỏ duy nhất. Thiết kế của nó hoàn toàn phù hợp với các thiết bị nhỏ gọn như máy tính xách tay mà không làm giảm hiệu suất.
Bộ xử lý cũng bao gồm RAM tích hợp, cắt giảm nhu cầu về card đồ họa riêng biệt. Điều này giúp giảm mức sử dụng điện năng và giữ cho thiết bị nhỏ gọn. Dmitriy cũng nhấn mạnh tính linh hoạt của bộ xử lý. Người dùng có thể quyết định có chạy các mô hình AI trên CPU , GPU , hoặc NPU, tùy thuộc vào nhiệm vụ. Ví dụ, phát hiện đối tượng với các mô hình YOLO11 có thể chạy trên bất kỳ công cụ nào trong số các công cụ này, trong khi các nhiệm vụ phức tạp hơn, như tạo văn bản thành hình ảnh, có thể sử dụng cả hai GPU và NPU cùng lúc để có hiệu suất tốt hơn.
Trong buổi thuyết trình, Dmitriy đã rút con chip ra khỏi túi, cho mọi người thấy rõ nó thực sự nhỏ đến mức nào - mặc dù nó có khả năng xử lý các tác vụ AI tiên tiến như vậy. Đó là một cách thú vị và đáng nhớ để cho thấy Intel đang mang lại khả năng AI mạnh mẽ cho các thiết bị di động và thiết thực hơn.
Đã giới thiệu Intel tiến bộ phần cứng mới nhất của Dmitriy sau đó chuyển sang Intel phần mềm của 'hỗ trợ AI. Ông đã giới thiệu OpenVINO , Intel là nền tảng mã nguồn mở được thiết kế để tối ưu hóa và triển khai các mô hình AI hiệu quả trên nhiều thiết bị khác nhau. OpenVINO vượt ra ngoài các tác vụ trực quan, mở rộng hỗ trợ sang các mô hình AI được sử dụng để xử lý ngôn ngữ tự nhiên, xử lý âm thanh , bộ chuyển đổi , v.v.
OpenVINO tương thích với các nền tảng phổ biến như PyTorch , TensorFlow và ONNX , và các nhà phát triển có thể dễ dàng kết hợp nó vào quy trình làm việc của họ. Một tính năng chính mà ông chú ý đến là lượng tử hóa. Lượng tử hóa nén trọng số mô hình để giảm kích thước của chúng để các mô hình lớn có thể chạy trơn tru trên các thiết bị cục bộ mà không cần đám mây. OpenVINO hoạt động trên nhiều khuôn khổ, chạy trên CPU , GPU , NPU, FPGA hoặc thậm chí là các thiết bị ARM và hỗ trợ Windows, Linux và macOS . Dmitriy cũng hướng dẫn khán giả cách bắt đầu dễ dàng với OpenVINO .
Trong phần thứ hai của bài nói chuyện, mic được chuyển cho Adrian, người đã giải thích về sự tích hợp liền mạch giữa Ultralytics YOLO mô hình và Intel 'S OpenVINO bộ công cụ, đơn giản hóa quy trình triển khai mô hình YOLO . Ông đã cung cấp giải thích từng bước về cách xuất mô hình YOLO bằng gói Python Ultralytics sang OpenVINO định dạng nhanh chóng và đơn giản. Sự tích hợp này giúp các nhà phát triển dễ dàng tối ưu hóa mô hình của họ hơn Intel phần cứng và tận dụng tối đa cả hai nền tảng.
Adrian đã chứng minh rằng một khi Ultralytics YOLO mô hình được đào tạo , người dùng có thể xuất mô hình bằng một vài cờ dòng lệnh đơn giản. Ví dụ, người dùng có thể chỉ định xem họ muốn xuất mô hình dưới dạng phiên bản dấu phẩy động để có độ chính xác tối đa hay dưới dạng phiên bản lượng tử để có tốc độ và hiệu quả tốt hơn. Ông cũng nêu bật cách các nhà phát triển có thể quản lý quy trình này trực tiếp thông qua mã , sử dụng các tùy chọn như lượng tử hóa INT8 để nâng cao hiệu suất mà không phải hy sinh quá nhiều độ chính xác.
Đưa tất cả lý thuyết này vào thực tế, Intel nhóm đã trình bày bản demo thời gian thực về phát hiện đối tượng bằng cách chạy YOLO11 trên Intel AI PC. Adrian đã trình bày cách hệ thống xử lý mô hình trên các bộ xử lý khác nhau, đạt được 36 khung hình mỗi giây (FPS) trên CPU với mô hình dấu phẩy động, trên 100 FPS trên tích hợp GPU và 70 FPS với phiên bản lượng tử INT8. Họ có thể cho thấy hiệu quả của Intel AI PC có thể quản lý các tác vụ AI phức tạp.
Ông cũng chỉ ra rằng hệ thống có thể chạy các mô hình song song, bằng cách sử dụng CPU , GPU và NPU cùng nhau cho các tác vụ mà tất cả dữ liệu hoặc khung video đều có sẵn trước. Điều này hữu ích khi xử lý các tải nặng như video. Hệ thống có thể chia khối lượng công việc trên các bộ xử lý khác nhau, giúp hệ thống nhanh hơn và hiệu quả hơn.
Để kết thúc, Adrian đề cập rằng người dùng có thể dùng thử bản demo tại nhà, bao gồm các giải pháp như đếm người và quản lý hàng đợi thông minh . Sau đó, anh ấy đã trình bày một bản demo thưởng , trong đó người dùng có thể nhập lời nhắc để tạo ra hình ảnh giống như trong mơ theo thời gian thực trên GPU . Nó chứng minh tính linh hoạt của Intel AI PC dành cho cả nhiệm vụ AI truyền thống và các dự án AI sáng tạo, mang tính tạo ra.
Tại sự kiện, Intel đã có một gian hàng nơi họ trưng bày bản demo phát hiện đối tượng theo thời gian thực bằng cách sử dụng YOLO11 , chạy trên Intel AI PC. Người tham dự được chứng kiến mô hình hoạt động, được tối ưu hóa với OpenVINO và được triển khai trên Intel Bộ xử lý Core Ultra 200V.
Tại Intel gian hàng, Dmitry chia sẻ, "Đây là lần đầu tiên tôi đến YOLO Tầm nhìn, và tôi rất vui khi được ở Madrid. Chúng tôi đang trình bày YOLO11 mô hình từ Ultralytics , chạy trên Intel Bộ xử lý Core Ultra 200V. Nó cho thấy hiệu suất tuyệt vời và chúng tôi sử dụng OpenVINO để tối ưu hóa và triển khai mô hình. Rất dễ dàng để cộng tác với Ultralytics và chạy mô hình trên phiên bản mới nhất Intel phần cứng, sử dụng CPU , GPU và NPU." Gian hàng cũng có một số phần quà tặng thú vị, chẳng hạn như áo phông và sổ tay để người tham dự mang về nhà.
Intel bài nói chuyện công nghệ của 's tại YV24, có sự góp mặt của Intel Bộ xử lý Core Ultra 200V Series đã giới thiệu cách thức OpenVINO bộ công cụ tối ưu hóa các mô hình AI như Ultralytics YOLO11 . Sự tích hợp này cho phép người dùng chạy YOLO mô hình trực tiếp trên thiết bị của họ, mang lại hiệu suất tuyệt vời cho các tác vụ thị giác máy tính như phát hiện đối tượng. Lợi ích chính là người dùng không cần phải dựa vào các dịch vụ đám mây.
Các nhà phát triển và những người đam mê AI có thể dễ dàng chạy và tinh chỉnh YOLO mô hình, tận dụng tối đa phần cứng như CPU, GPU và NPU cho các ứng dụng thời gian thực. Intel OpenVINO bộ công cụ, kết hợp với Ultralytics YOLO các mô hình, mở ra những khả năng mới để đưa các khả năng AI tiên tiến trực tiếp vào các thiết bị cá nhân, khiến nó trở thành lựa chọn lý tưởng cho các nhà phát triển mong muốn thúc đẩy các cải tiến AI trong nhiều ngành công nghiệp khác nhau.
Hãy cùng hợp tác và đổi mới! Truy cập kho lưu trữ GitHub của chúng tôi để khám phá những đóng góp của chúng tôi và tương tác với cộng đồng của chúng tôi . Xem cách chúng tôi sử dụng AI để tạo ra tác động trong các ngành như sản xuất và chăm sóc sức khỏe .
Bắt đầu hành trình của bạn với tương lai của machine learning
