Hãy cùng chúng tôi tóm tắt lại những đột phá của Sony trong xử lý AI tại biên với cảm biến IMX500 và nền tảng AITRIOS, để giúp tối ưu hóa Ultralytics YOLO mô hình.
Edge AI cho phép các mô hình trí tuệ nhân tạo (AI) hoạt động trực tiếp trên các thiết bị như điện thoại thông minh , máy ảnh và máy bay không người lái. Ưu điểm chính của nó là hỗ trợ ra quyết định nhanh hơn, theo thời gian thực mà không cần dựa vào đám mây . Trên thực tế, các nghiên cứu cho thấy việc sử dụng AI trên các nền tảng biên có thể tăng hiệu quả hoạt động lên tới 40%.
Những tiến bộ gần đây trong AI biên , đặc biệt là trong thị giác máy tính , đã biến nó thành chủ đề trung tâm tại YOLO Vision 2024 (YV24) , Ultralytics ' sự kiện kết hợp thường niên quy tụ những người đam mê AI và các chuyên gia để khám phá những điều mới nhất trong Vision AI . Một trong những điểm nhấn của sự kiện là bài thuyết trình quan trọng của Sony , nơi họ giới thiệu các giải pháp phần cứng và phần mềm AI tiên tiến mới của mình. Cảm biến IMX500 và nền tảng AITRIOS đã được giới thiệu và Sony đã chứng minh cách những cải tiến này giúp triển khai các mô hình Ultralytics YOLO như Ultralytics YOLO11 và Ultralytics YOLOv8 trên edge dễ dàng và hiệu quả hơn.
Buổi họp được dẫn dắt bởi Wei Tang , Giám đốc Phát triển Kinh doanh tập trung vào các giải pháp hình ảnh của Sony, và Amir Servi , Giám đốc Sản phẩm Học sâu Edge có chuyên môn triển khai các mô hình học sâu trên các thiết bị Edge .
Trong bài viết này, chúng ta sẽ xem lại bài phát biểu của Sony tại YV24 và khám phá cách cảm biến IMX500 và nền tảng AITRIOS tối ưu hóa việc sử dụng YOLO mô hình để xử lý AI nhanh hơn, theo thời gian thực. Hãy bắt đầu thôi!
Wei Tang mở đầu phiên họp bằng cách nói về mục tiêu của Sony là làm cho AI biên dễ tiếp cận như họ đã làm với nhiếp ảnh nhiều năm trước. Bà nhấn mạnh cách Sony hiện đang tập trung vào việc mang AI thị giác tiên tiến đến với nhiều người hơn thông qua điện toán biên. Một trong những động lực thúc đẩy đằng sau điều này là tác động tích cực mà AI biên có thể mang lại cho môi trường. Bằng cách xử lý dữ liệu trực tiếp trên các thiết bị thay vì dựa vào các trung tâm dữ liệu khổng lồ, điện toán biên giúp cắt giảm mức sử dụng năng lượng và giảm lượng khí thải carbon. Đây là một cách tiếp cận thông minh hơn, xanh hơn , hoàn toàn phù hợp với cam kết của Sony trong việc xây dựng công nghệ không chỉ hoạt động tốt hơn mà còn giúp tạo ra một tương lai bền vững hơn.
Wei tiếp tục giải thích cách Sony Semiconductor Solutions, bộ phận của Sony chuyên về công nghệ hình ảnh và cảm biến, tạo ra các cảm biến hình ảnh tiên tiến. Các cảm biến này được sử dụng trong nhiều thiết bị khác nhau, chuyển đổi ánh sáng thành tín hiệu điện tử để chụp ảnh. Với hơn 1,2 tỷ cảm biến được xuất xưởng mỗi năm, chúng có mặt trong gần một nửa số điện thoại di động trên thế giới, khiến Sony trở thành một công ty lớn trong ngành công nghiệp hình ảnh .
Dựa trên chuyên môn này, Sony hiện đang tiến xa hơn nữa bằng cách biến những cảm biến này từ thiết bị chụp ảnh thành công cụ thông minh có thể xử lý dữ liệu theo thời gian thực, cho phép đưa ra thông tin chi tiết do AI cung cấp trực tiếp trên thiết bị. Trước khi thảo luận về các giải pháp phần cứng và phần mềm mà Sony đang sử dụng để hỗ trợ sự thay đổi này, hãy cùng tìm hiểu những thách thức về AI mà những cải tiến này hướng đến để giải quyết.
Phát triển các giải pháp AI biên đi kèm với một số thách thức chính, đặc biệt là khi làm việc với các thiết bị như máy ảnh và cảm biến. Nhiều thiết bị trong số này có công suất và khả năng xử lý hạn chế, khiến việc chạy các mô hình AI tiên tiến một cách hiệu quả trở nên khó khăn.
Sau đây là một số hạn chế chính khác:
Cảm biến thị giác thông minh Sony IMX500 là một phần cứng đột phá trong xử lý AI biên. Đây là cảm biến thị giác thông minh đầu tiên trên thế giới có khả năng AI trên chip. Cảm biến này giúp vượt qua nhiều thách thức trong AI biên, bao gồm tình trạng tắc nghẽn xử lý dữ liệu, mối quan tâm về quyền riêng tư và hạn chế về hiệu suất.
Trong khi các cảm biến khác chỉ truyền hình ảnh và khung hình, IMX500 kể một câu chuyện hoàn chỉnh. Nó xử lý dữ liệu trực tiếp trên cảm biến, cho phép các thiết bị tạo ra thông tin chi tiết theo thời gian thực. Trong phiên họp, Wei Tang cho biết, "Bằng cách tận dụng công nghệ cảm biến hình ảnh tiên tiến của mình, chúng tôi hướng đến mục tiêu trao quyền cho một thế hệ ứng dụng mới có thể nâng cao cuộc sống hàng ngày ". IMX500 được thiết kế để đáp ứng mục tiêu này, chuyển đổi cách các thiết bị xử lý dữ liệu trực tiếp trên cảm biến, mà không cần phải gửi dữ liệu đó đến đám mây để xử lý.
Sau đây là một số tính năng chính của nó:
IMX500 không chỉ là một cảm biến máy ảnh - mà còn là một công cụ cảm biến mạnh mẽ giúp biến đổi cách các thiết bị nhận thức và tương tác với thế giới xung quanh chúng. Bằng cách nhúng AI trực tiếp vào cảm biến, Sony đang giúp AI biên dễ tiếp cận hơn đối với các ngành công nghiệp như ô tô , chăm sóc sức khỏe và thành phố thông minh . Trong các phần tiếp theo, chúng ta sẽ đi sâu hơn vào cách IMX500 hoạt động với Ultralytics YOLO các mô hình để cải thiện khả năng phát hiện đối tượng và xử lý dữ liệu trên các thiết bị biên.
Sau khi giới thiệu cảm biến IMX500, Wei Tang bày tỏ rằng mặc dù phần cứng rất quan trọng, nhưng nó không đủ để giải quyết toàn bộ các thách thức liên quan đến việc triển khai AI biên. Bà đã nói về cách tích hợp AI trên các thiết bị như máy ảnh và cảm biến đòi hỏi nhiều hơn là phần cứng tiên tiến - nó cần phần mềm thông minh để quản lý. Đây chính là lúc nền tảng AITRIOS của Sony phát huy tác dụng, cung cấp giải pháp phần mềm đáng tin cậy được thiết kế để triển khai AI trên các thiết bị biên đơn giản và hiệu quả hơn.
AITRIOS đóng vai trò là cầu nối giữa các mô hình AI phức tạp và các hạn chế của thiết bị biên. Nó cung cấp cho các nhà phát triển một loạt các công cụ để triển khai nhanh chóng các mô hình AI được đào tạo trước. Nhưng quan trọng hơn, nó hỗ trợ đào tạo lại liên tục để các mô hình AI có thể thích ứng với những thay đổi trong thế giới thực.
Wei cũng nhấn mạnh cách AITRIOS đơn giản hóa quy trình cho những người không có chuyên môn sâu về AI, cung cấp tính linh hoạt để tùy chỉnh các mô hình AI cho các trường hợp sử dụng AI biên cụ thể. Nó cũng giải quyết các thách thức phổ biến như hạn chế bộ nhớ và giảm hiệu suất , giúp tích hợp AI vào các thiết bị nhỏ hơn dễ dàng hơn mà không ảnh hưởng đến độ chính xác hoặc tốc độ.
Trong phần thứ hai của buổi nói chuyện, micro được chuyển cho Amir, người đã đi sâu vào khía cạnh kỹ thuật về cách Sony tối ưu hóa các mô hình YOLO trên cảm biến IMX500.
Amir bắt đầu bằng câu nói, “ YOLO các mô hình cho phép biên và khá dễ tối ưu hóa, nhờ Glenn và nhóm. Tôi sẽ thuyết phục bạn về điều đó, đừng lo lắng." Sau đó, Amir giải thích rằng trong khi nhiều sự tập trung thường được dành cho việc tối ưu hóa chính mô hình AI, thì cách tiếp cận này thường bỏ qua một mối quan tâm quan trọng: tình trạng tắc nghẽn hậu xử lý.
Amir chỉ ra rằng trong nhiều trường hợp, sau khi mô hình AI hoàn thành nhiệm vụ của mình, quá trình truyền dữ liệu và xử lý hậu xử lý trên thiết bị chủ có thể gây ra sự chậm trễ đáng kể. Việc truyền dữ liệu qua lại giữa thiết bị và máy chủ này gây ra độ trễ, có thể là trở ngại lớn để đạt được hiệu suất tốt nhất.
Để giải quyết vấn đề này, Amir nhấn mạnh tầm quan trọng của việc xem xét toàn bộ hệ thống đầu cuối, thay vì chỉ tập trung vào mô hình AI. Với cảm biến IMX500, họ phát hiện ra rằng hậu xử lý là nút thắt chính làm chậm mọi thứ. Ông chia sẻ rằng bước đột phá thực sự là mở khóa khả năng triệt tiêu không tối đa trên chip (NMS) .
Nó cho phép hậu xử lý diễn ra trực tiếp trên cảm biến, loại bỏ nhu cầu truyền dữ liệu lớn đến thiết bị chủ. Bằng cách chạy NMS trực tiếp trên IMX500, Sony đã phá vỡ cái mà Amir gọi là "trần kính xử lý hậu kỳ", đạt được hiệu suất tốt hơn nhiều và giảm độ trễ.
Tiếp theo, chúng ta sẽ xem xét cách đổi mới này đã giúp ích như thế nào YOLO Các mô hình, đặc biệt là YOLOv8 Nano, chạy hiệu quả hơn trên các thiết bị biên, tạo ra cơ hội mới cho việc xử lý AI thời gian thực trên phần cứng nhỏ hơn, hạn chế về tài nguyên.
Kết thúc bài nói chuyện bằng một nốt cao, Amir đã chứng minh cách họ có thể tăng gấp bốn lần hiệu suất của YOLOv8 Mô hình Nano bằng cách chạy NMS trên edge. Ông đã trình bày điều này trên Raspberry Pi 5, được tích hợp với cảm biến AI IMX500. Amir đã so sánh hiệu suất khi xử lý hậu kỳ được thực hiện trên thiết bị chủ so với trên chip IMX500.
Kết quả cho thấy rõ ràng sự cải thiện đáng kể về số khung hình trên giây (FPS) và hiệu quả chung khi xử lý trên chip. Việc tối ưu hóa giúp phát hiện đối tượng nhanh hơn và mượt mà hơn, đồng thời chứng minh tính thực tiễn của xử lý AI thời gian thực trên các thiết bị nhỏ hơn, hạn chế về tài nguyên như Raspberry Pi.
Cảm biến IMX500 của Sony, nền tảng AITRIOS và Ultralytics YOLO các mô hình đang định hình lại quá trình phát triển AI biên. Xử lý AI trên chip giúp giảm truyền dữ liệu và độ trễ đồng thời tăng cường quyền riêng tư, bảo mật và hiệu quả. Bằng cách tập trung vào toàn bộ hệ thống, không chỉ mô hình AI, những cải tiến này giúp AI biên dễ tiếp cận hơn với các nhà phát triển và những người không có chuyên môn sâu về AI. Khi công nghệ AI biên tiếp tục phát triển, nó có khả năng sẽ cho phép các thiết bị thông minh hơn, ra quyết định nhanh hơn và bảo vệ quyền riêng tư mạnh mẽ hơn trên nhiều ngành và ứng dụng.
Luôn kết nối với cộng đồng của chúng tôi để tiếp tục tìm hiểu về AI! Kiểm tra kho lưu trữ GitHub của chúng tôi để khám phá cách chúng tôi có thể sử dụng AI để tạo ra các giải pháp sáng tạo trong các ngành công nghiệp khác nhau như nông nghiệp và sản xuất. 🚀
Bắt đầu hành trình của bạn với tương lai của machine learning
