Thuật ngữ

Thu hồi tăng cường thế hệ (RAG)

Khám phá cách Retrieval Augmented Generation (RAG) cách mạng hóa NLP bằng cách kết hợp việc truy xuất kiến thức bên ngoài với việc tạo văn bản để có đầu ra chính xác và cập nhật.

Xe lửa YOLO mô hình đơn giản
với Ultralytics TRUNG TÂM

Tìm hiểu thêm

Retrieval Augmented Generation (RAG) là một phương pháp tiếp cận sáng tạo trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) giúp tăng cường khả năng của các mô hình ngôn ngữ bằng cách tích hợp truy xuất kiến thức bên ngoài vào quy trình tạo văn bản. Không giống như các mô hình truyền thống chỉ dựa vào kiến thức được đào tạo trước của chúng, các mô hình RAG sẽ tự động lấy thông tin có liên quan từ một kho tài liệu khổng lồ để cung cấp thông tin và làm phong phú thêm cho các phản hồi của chúng. Phương pháp này cải thiện đáng kể độ chính xác, tính liên quan và độ sâu của văn bản được tạo ra, khiến nó đặc biệt hữu ích trong các ứng dụng yêu cầu thông tin cập nhật hoặc cụ thể.

Cách thức hoạt động của Retrieval Augmented Generation

Các mô hình RAG kết hợp điểm mạnh của cả hai phương pháp dựa trên truy xuất và dựa trên thế hệ. Quá trình này thường bao gồm hai thành phần chính: một bộ truy xuất và một bộ tạo. Khi một truy vấn được đưa ra, bộ truy xuất sẽ quét một cơ sở dữ liệu lớn các tài liệu và chọn các đoạn văn có liên quan nhất dựa trên ngữ cảnh của truy vấn. Các đoạn văn được truy xuất này sau đó được đưa vào bộ tạo, bộ tạo này sử dụng thông tin này để tạo ra phản hồi mạch lạc và phù hợp với ngữ cảnh. Bộ tạo thường là một mô hình biến đổi , tương tự như các mô hình được sử dụng trong GPT (Biến đổi được đào tạo trước tạo ra) hoặc BERT (Bidirectional Encoder Representations from Transformers) , nhưng có thêm khả năng kết hợp thông tin bên ngoài.

Các thành phần chính của RAG

Thành phần thu thập có trách nhiệm xác định và lấy các tài liệu hoặc đoạn văn có liên quan từ một nguồn kiến thức bên ngoài. Thành phần này thường sử dụng các kỹ thuật như TF -IDF , BM25 hoặc nhúng dày đặc để đo mức độ tương đồng giữa truy vấn và các tài liệu. Thành phần tạo là mô hình trình tự-trình tự lấy thông tin đã thu thập và truy vấn gốc để tạo ra đầu ra cuối cùng. Thành phần này được đào tạo để tổng hợp thông tin từ nhiều nguồn và tạo ra phản hồi trôi chảy và nhiều thông tin.

Ưu điểm của việc sử dụng RAG

RAG cung cấp một số lợi thế so với các mô hình ngôn ngữ lớn (LLM) truyền thống. Bằng cách đặt quá trình tạo ra thông tin bên ngoài có thể xác minh, các mô hình RAG có thể tạo ra các đầu ra chính xác và đáng tin cậy hơn. Điều này làm giảm nguy cơ ảo giác , khi mô hình tạo ra thông tin hợp lý nhưng không chính xác. Ngoài ra, các mô hình RAG có thể dễ dàng thích ứng với thông tin mới bằng cách cập nhật cơ sở dữ liệu truy xuất, khiến chúng linh hoạt và cập nhật hơn so với các mô hình chỉ dựa vào kiến thức tĩnh, được đào tạo trước.

Ứng dụng thực tế của RAG

Trả lời câu hỏi nâng cao

Các mô hình RAG rất hiệu quả trong các nhiệm vụ trả lời câu hỏi , đặc biệt là khi câu trả lời yêu cầu thông tin cụ thể, cập nhật hoặc chuyên sâu. Ví dụ, chatbot hỗ trợ khách hàng do RAG cung cấp có thể truy xuất tài liệu sản phẩm mới nhất hoặc Câu hỏi thường gặp để cung cấp phản hồi chính xác và hữu ích cho các truy vấn của người dùng. Điều này đảm bảo rằng khách hàng nhận được thông tin mới nhất mà không cần phải đào tạo lại mô hình thường xuyên.

Tạo và tóm tắt nội dung

RAG có thể được sử dụng để tạo ra nội dung thông tin chất lượng cao bằng cách thu thập các sự kiện, số liệu thống kê và chi tiết có liên quan từ nhiều nguồn khác nhau. Ví dụ, mô hình RAG có thể hỗ trợ viết bài báo bằng cách truy xuất các sự kiện và điểm dữ liệu mới nhất liên quan đến chủ đề. Tương tự như vậy, trong tóm tắt văn bản , RAG có thể tạo ra các bản tóm tắt toàn diện và chính xác hơn bằng cách kết hợp thông tin từ nhiều tài liệu.

RAG so với các mô hình ngôn ngữ khác

So với các mô hình ngôn ngữ khác như GPT, khả năng truy cập và sử dụng kiến thức bên ngoài của RAG khiến nó trở nên khác biệt. Trong khi các mô hình GPT như GPT-3GPT-4 rất mạnh trong việc tạo ra văn bản giống con người, chúng bị giới hạn bởi dữ liệu mà chúng được đào tạo. Ngược lại, RAG tăng cường quá trình tạo bằng cách truy xuất thông tin có liên quan một cách động, dẫn đến đầu ra có thông tin và chính xác hơn. Sự khác biệt này khiến RAG đặc biệt có giá trị trong các tình huống mà độ chính xác và thông tin cập nhật là rất quan trọng.

Thách thức và định hướng tương lai

Mặc dù có những ưu điểm, RAG cũng phải đối mặt với những thách thức. Chất lượng đầu ra được tạo ra phụ thuộc rất nhiều vào hiệu quả của trình thu thập. Nếu trình thu thập không thu thập được các tài liệu có liên quan, đầu ra của trình tạo có thể bị ảnh hưởng. Ngoài ra, việc tích hợp và xử lý thông tin từ nhiều nguồn có thể tốn nhiều tài nguyên tính toán. Các hướng nghiên cứu trong tương lai bao gồm cải thiện hiệu quả của các cơ chế thu thập, tăng cường khả năng tổng hợp thông tin của trình tạo và khám phá những cách mới để kết hợp các nguồn dữ liệu có cấu trúc và không có cấu trúc. Bạn có thể đọc thêm về RAG trong bài báo nghiên cứu này.

Để biết thêm thông tin chi tiết về các kỹ thuật và mô hình NLP tiên tiến, hãy khám phá Blog Ultralytics .

Đọc tất cả