Cửa sổ ngữ cảnh

Cửa sổ ngữ cảnh trong xử lý ngôn ngữ tự nhiên (NLP)

Cửa sổ ngữ cảnh là một khái niệm cơ bản trong Xử lý ngôn ngữ tự nhiên (NLP) . Các mô hình như Transformers , hỗ trợ các kiến trúc như BERT và GPT , phụ thuộc rất nhiều vào cửa sổ ngữ cảnh. Trong các mô hình này, cửa sổ ngữ cảnh xác định có bao nhiêu mã thông báo trước đó (từ hoặc từ phụ) được xem xét khi xử lý một mã thông báo cụ thể. Cửa sổ ngữ cảnh lớn hơn cho phép mô hình hiểu các phụ thuộc tầm xa hơn trong văn bản, có khả năng dẫn đến đầu ra mạch lạc hơn và nhận thức theo ngữ cảnh, như được thấy trong các mô hình nâng cao như GPT-4 của OpenAI . Các bài báo nghiên cứu như "Attention Is All You Need" đã giới thiệu các kiến trúc hiệu quả trong việc xử lý ngữ cảnh. Tuy nhiên, cửa sổ lớn hơn cũng làm tăng đáng kể tải tính toán và sử dụng bộ nhớ trong quá trình đào tạo và suy luận mô hình.

Cửa sổ ngữ cảnh trong Vision AI

Mặc dù được thảo luận nổi bật nhất trong NLP, ý tưởng về cửa sổ ngữ cảnh cũng có thể áp dụng trong thị giác máy tính (CV) , đặc biệt là khi phân tích luồng video hoặc chuỗi hình ảnh. Ví dụ, trong theo dõi đối tượng , một mô hình có thể sử dụng cửa sổ ngữ cảnh của một số khung liên tiếp để dự đoán tốt hơn quỹ đạo của đối tượng và xử lý các điểm che khuất. Ngữ cảnh thời gian này giúp duy trì tính nhất quán theo dõi theo thời gian. Ultralytics YOLO các mô hình, chủ yếu được biết đến với khả năng phát hiện đối tượng theo thời gian thực, có thể được tích hợp vào các hệ thống sử dụng cửa sổ ngữ cảnh cho các tác vụ như phân tích video , nâng cao khả năng của chúng ngoài việc xử lý một khung hình. Khám phá các giải pháp Ultralytics để biết ví dụ về các ứng dụng thị giác tiên tiến, chẳng hạn như tích hợp YOLO với các thuật toán theo dõi .

Ví dụ về cửa sổ ngữ cảnh trong các ứng dụng AI/ML thực tế

Khái niệm về cửa sổ ngữ cảnh là một phần không thể thiếu của nhiều ứng dụng AI:

• Chatbot và Trợ lý ảo : Chatbot hiện đại sử dụng cửa sổ ngữ cảnh để duy trì lịch sử trò chuyện. Điều này cho phép chúng hiểu các câu hỏi tiếp theo, tham khảo lại các điểm trước đó và cung cấp các tương tác tự nhiên, mạch lạc hơn, tránh các phản hồi lặp lại hoặc không liên quan. Các mô hình như Gemini của Google tận dụng các cửa sổ ngữ cảnh lớn cho cuộc đối thoại phức tạp.
• Phân tích chuỗi thời gian để dự báo tài chính : Các mô hình tài chính phân tích chuỗi giá cổ phiếu trong quá khứ, các chỉ số kinh tế hoặc khối lượng giao dịch trong một cửa sổ ngữ cảnh được xác định để dự đoán các biến động thị trường trong tương lai. Kích thước cửa sổ xác định mức độ dữ liệu lịch sử ảnh hưởng đến dự đoán . AI trong tài chính thường dựa vào các cửa sổ ngữ cảnh được điều chỉnh cẩn thận.
• Thuật toán dự đoán văn bản : Khi bạn gõ trên điện thoại thông minh, bàn phím sẽ gợi ý từ tiếp theo dựa trên các từ trước đó trong cửa sổ ngữ cảnh, giúp cải thiện tốc độ và độ chính xác khi gõ.

Những cân nhắc chính và các khái niệm liên quan

Việc lựa chọn kích thước cửa sổ ngữ cảnh phù hợp liên quan đến sự đánh đổi. Cửa sổ lớn hơn có thể nắm bắt nhiều ngữ cảnh hơn và có khả năng cải thiện độ chính xác của mô hình , đặc biệt là đối với các tác vụ đòi hỏi sự hiểu biết về phụ thuộc tầm xa. Tuy nhiên, chúng đòi hỏi nhiều bộ nhớ và sức mạnh tính toán hơn, có khả năng làm chậm quá trình đào tạo và suy luận. Các kỹ thuật như Transformer-XL nhằm mục đích xử lý các ngữ cảnh dài hơn một cách hiệu quả hơn.

Sẽ rất hữu ích khi phân biệt Cửa sổ ngữ cảnh với các thuật ngữ liên quan:

• Trường tiếp nhận : Mặc dù về mặt khái niệm tương tự (vùng đầu vào ảnh hưởng đến đầu ra), trường tiếp nhận thường đề cập đến phạm vi không gian trong các đầu vào như hình ảnh được xử lý bởi Mạng nơ-ron tích chập (CNN) . Cửa sổ ngữ cảnh thường áp dụng cho dữ liệu tuần tự (văn bản, chuỗi thời gian, khung video).
• Chiều dài chuỗi: Trong nhiều mô hình, đặc biệt là Transformers, kích thước cửa sổ ngữ cảnh xác định trực tiếp chiều dài chuỗi tối đa mà mô hình có thể xử lý cùng một lúc. Các chuỗi dài hơn có thể cần phải được cắt bớt hoặc xử lý bằng các kiến trúc chuyên biệt. Điều này có liên quan đến các mô hình Chuỗi-sang-Chuỗi .

Các khuôn khổ như PyTorch (thông qua trang web chính thức PyTorch ) và TensorFlow (chi tiết trên trang web chính thức của TensorFlow ) cung cấp các công cụ để xây dựng các mô hình trong đó cửa sổ ngữ cảnh là một tham số chính, đặc biệt là khi làm việc với các cấu trúc dữ liệu tuần tự như Mạng nơ-ron hồi quy (RNN) hoặc Transformers. Việc triển khai mô hình hiệu quả thường đòi hỏi phải tối ưu hóa việc xử lý ngữ cảnh.