Khám phá mô hình Reformer: kiến trúc biến áp đột phá được tối ưu hóa cho các chuỗi dài với sự chú ý của LSH và các lớp có thể đảo ngược.
Reformer là một biến thể hiệu quả của kiến trúc Transformer tiêu chuẩn, được thiết kế riêng để xử lý các chuỗi rất dài, đặt ra những thách thức đáng kể về mặt tính toán và bộ nhớ cho các Transformer truyền thống. Được giới thiệu bởi các nhà nghiên cứu tại Google Research , Reformer kết hợp một số cải tiến để giảm đáng kể mức sử dụng bộ nhớ và chi phí tính toán, giúp khả thi trong việc xử lý các chuỗi với hàng trăm nghìn hoặc thậm chí hàng triệu phần tử, vượt xa giới hạn thông thường của các Transformer tiêu chuẩn. Hiệu quả này mở ra khả năng áp dụng các mô hình giống Transformer cho các tác vụ liên quan đến bối cảnh rộng lớn, chẳng hạn như xử lý toàn bộ sách, hình ảnh có độ phân giải cao được coi là chuỗi pixel hoặc các bản nhạc dài.
Máy cải tiến đạt được hiệu quả chủ yếu thông qua hai kỹ thuật chính:
Mặc dù cả hai đều dựa trên cơ chế chú ý, Reformer có sự khác biệt đáng kể:
Khả năng xử lý các chuỗi dài của Reformer khiến nó phù hợp với nhiều tác vụ khác nhau trong Trí tuệ nhân tạo (AI) :
Trong khi các mô hình như Ultralytics YOLO tập trung vào việc phát hiện đối tượng hiệu quả trong hình ảnh, thường sử dụng Mạng nơ-ron tích chập (CNN) hoặc kiến trúc lai như RT-DETR , các nguyên tắc về hiệu quả tính toán và bộ nhớ được khám phá trong Reformer có liên quan đến lĩnh vực Học sâu (DL) . Hiểu được những tiến bộ như vậy giúp thúc đẩy sự đổi mới hướng tới các mô hình AI có khả năng và dễ tiếp cận hơn, một mục tiêu chung của các nền tảng như Ultralytics HUB nhằm mục đích đơn giản hóa quá trình phát triển và triển khai AI. Để biết thêm chi tiết, hãy tham khảo bài báo nghiên cứu Reformer gốc. So sánh hiệu quả của các mô hình, như YOLO11 so với YOLOv10 , làm nổi bật nỗ lực đang diễn ra để cân bằng hiệu suất và việc sử dụng tài nguyên.
VI
EN
ZH
KO
JA
RU
DE
FR
ES
PT
IT
AR
TR
.webp)
