Mạng đối nghịch tạo sinh (GAN)

Cách thức hoạt động của GAN

Ý tưởng cốt lõi đằng sau GAN là đào tạo hai mô hình cùng lúc trong một trò chơi tổng bằng không.

1. Bộ tạo: Nhiệm vụ của mạng này là tạo ra dữ liệu giả. Nó lấy nhiễu ngẫu nhiên làm đầu vào và cố gắng biến đổi nó thành một mẫu trông giống như được lấy từ dữ liệu huấn luyện ban đầu. Ví dụ, nó có thể cố gắng tạo ra hình ảnh chân thực của khuôn mặt người.
2. Bộ phân biệt: Mạng này hoạt động như một nhà phê bình hoặc thám tử. Mục tiêu của nó là phân biệt giữa dữ liệu thực (từ tập huấn luyện) và dữ liệu giả do Bộ tạo tạo ra. Bộ phân biệt đưa ra một xác suất cho biết khả năng nó tin rằng một mẫu đầu vào là thật.

Trong quá trình huấn luyện , Generator liên tục cố gắng đánh lừa Discriminator tốt hơn, trong khi Discriminator nỗ lực cải thiện khả năng phát hiện dữ liệu giả. Quá trình đối kháng này, được điều khiển bởi lan truyền ngược , tiếp tục cho đến khi Generator tạo ra các mẫu có độ tin cậy cao đến mức Discriminator không còn phân biệt được chúng với dữ liệu thực, đạt đến trạng thái được gọi là cân bằng Nash.

Ứng dụng trong thế giới thực

GAN đã cho phép triển khai nhiều ứng dụng sáng tạo trong nhiều ngành công nghiệp khác nhau.

• Tạo dữ liệu tổng hợp : Một trong những ứng dụng quan trọng nhất của GAN là tạo ra dữ liệu nhân tạo chất lượng cao để bổ sung cho các tập dữ liệu thực. Ví dụ, trong quá trình phát triển xe tự hành , GAN có thể tạo ra các cảnh đường thực tế, bao gồm cả những tình huống hiếm gặp và nguy hiểm khó nắm bắt trong thế giới thực. Điều này giúp cải thiện độ tin cậy của các mô hình phát hiện đối tượng như Ultralytics YOLO11 mà không cần phải thu thập dữ liệu thực tế rộng rãi.
• Tạo hình ảnh và nghệ thuật: GAN nổi tiếng với khả năng tạo ra những hình ảnh mới lạ và chân thực. Các dự án như StyleGAN của NVIDIA có thể tạo ra khuôn mặt người cực kỳ chi tiết của những người không tồn tại. Công nghệ này cũng được sử dụng trong nghệ thuật, cho phép các nghệ sĩ tạo ra những tác phẩm độc đáo, và trong thời trang để thiết kế các kiểu trang phục mới.
• Chuyển đổi hình ảnh sang hình ảnh: GAN có thể học cách ánh xạ giữa các miền hình ảnh khác nhau. Ví dụ, một mô hình có thể được huấn luyện để biến ảnh vệ tinh thành bản đồ, chuyển đổi một bản phác thảo thành ảnh chân thực, hoặc biến ảnh ban ngày thành cảnh đêm.
• Lão hóa và chỉnh sửa khuôn mặt: Các ứng dụng sử dụng GAN để dự đoán thực tế khuôn mặt của một người có thể lão hóa như thế nào theo thời gian hoặc để thực hiện các chỉnh sửa như thay đổi màu tóc, thêm nụ cười hoặc thay đổi biểu cảm khuôn mặt, có ứng dụng trong giải trí và pháp y.

GAN so với các mô hình tạo sinh khác

GAN là một phần của họ mô hình sinh sản rộng hơn, nhưng chúng có những đặc điểm riêng biệt.

• Mô hình khuếch tán : Các mô hình khuếch tán, giống như các mô hình đằng sau mô hình khuếch tán ổn định , thường cung cấp khả năng huấn luyện ổn định hơn và có thể tạo ra các mẫu chất lượng cao hơn, đa dạng hơn so với GAN. Tuy nhiên, điều này thường đi kèm với độ trễ suy luận chậm hơn.
• Autoencoder : Autoencoder Biến thiên (VAE) là một loại mô hình sinh khác. Mặc dù cả GAN và VAE đều tạo ra dữ liệu, GAN được biết đến với khả năng tạo ra kết quả sắc nét và chân thực hơn, trong khi VAE thường tốt hơn trong việc tạo ra không gian tiềm ẩn có cấu trúc và dễ diễn giải.

Những thách thức và tiến bộ

Việc đào tạo GAN có thể rất khó khăn do một số thách thức sau:

• Thu gọn chế độ: Điều này xảy ra khi Generator tìm thấy một vài đầu ra có hiệu quả cao trong việc đánh lừa Discriminator và chỉ tạo ra những biến thể hạn chế đó, không thể nắm bắt được toàn bộ sự đa dạng của dữ liệu đào tạo. Các nhà nghiên cứu tại Google đã nghiên cứu sâu về vấn đề này.
• Tính bất ổn định trong huấn luyện: Bản chất cạnh tranh của GAN có thể dẫn đến huấn luyện không ổn định, trong đó hai mạng không hội tụ trơn tru. Điều này có thể do các vấn đề như vấn đề gradient biến mất .
• Khó khăn trong đánh giá: Việc định lượng chất lượng và tính đa dạng của các mẫu được tạo ra không hề đơn giản. Các chỉ số như Điểm Khởi đầu (IS) và Khoảng cách Khởi đầu Fréchet (FID) được sử dụng, nhưng chúng có những hạn chế riêng.

Để khắc phục những vấn đề này, các nhà nghiên cứu đã phát triển nhiều biến thể GAN, chẳng hạn như Wasserstein GAN ( WGAN ) để có độ ổn định tốt hơn và Conditional GAN ( cGAN ), cho phép tạo ra dữ liệu được kiểm soát tốt hơn. Việc phát triển GAN tiếp tục là một lĩnh vực nghiên cứu AI năng động, với các công cụ mạnh mẽ trong các nền tảng như PyTorch và TensorFlow giúp các nhà phát triển dễ tiếp cận hơn. Để quản lý quy trình làm việc ML rộng hơn, các nền tảng như Ultralytics HUB có thể giúp hợp lý hóa việc quản lý dữ liệu và triển khai mô hình.