Cửa sổ ngữ cảnh

Cửa sổ ngữ cảnh trong Xử lý ngôn ngữ tự nhiên (NLP)

Cửa sổ ngữ cảnh là một khái niệm cơ bản trong Xử lý ngôn ngữ tự nhiên (NLP) . Các mô hình như Transformers , hỗ trợ các kiến trúc như BERT và GPT , phụ thuộc rất nhiều vào cửa sổ ngữ cảnh. Trong các mô hình này, cửa sổ ngữ cảnh xác định có bao nhiêu mã thông báo trước đó (từ hoặc từ phụ) được xem xét khi xử lý một mã thông báo cụ thể. Cửa sổ ngữ cảnh lớn hơn cho phép mô hình hiểu các phụ thuộc phạm vi dài hơn trong văn bản, có khả năng dẫn đến đầu ra mạch lạc hơn và nhận thức theo ngữ cảnh hơn, như được thấy trong các mô hình nâng cao như GPT-4 của OpenAI . Tuy nhiên, cửa sổ lớn hơn cũng làm tăng tải tính toán và sử dụng bộ nhớ trong quá trình đào tạo và suy luận.

Cửa sổ ngữ cảnh trong Vision AI

Mặc dù được thảo luận nổi bật nhất trong NLP, ý tưởng về cửa sổ ngữ cảnh cũng có thể áp dụng trong thị giác máy tính (CV) , đặc biệt là khi phân tích luồng video hoặc chuỗi hình ảnh. Ví dụ, trong theo dõi đối tượng , một mô hình có thể sử dụng cửa sổ ngữ cảnh của một số khung liên tiếp để dự đoán tốt hơn quỹ đạo của đối tượng và xử lý các điểm che khuất. Ngữ cảnh thời gian này giúp duy trì tính nhất quán của việc theo dõi. Ultralytics YOLO Các mô hình, chủ yếu được biết đến với khả năng phát hiện đối tượng theo thời gian thực, có thể được tích hợp vào các hệ thống sử dụng cửa sổ ngữ cảnh cho các tác vụ như phân tích video, nâng cao khả năng của chúng vượt ra ngoài khả năng xử lý một khung hình. Khám phá các giải pháp Ultralytics để biết ví dụ về các ứng dụng tầm nhìn tiên tiến.

Ví dụ về Cửa sổ ngữ cảnh trong các ứng dụng AI/ML trong thế giới thực

• Chatbot và Trợ lý ảo: Các hệ thống như chatbot và trợ lý ảo sử dụng cửa sổ ngữ cảnh để ghi nhớ một vài lượt trò chuyện cuối cùng. Điều này cho phép chúng hiểu các câu hỏi tiếp theo và cung cấp các phản hồi có liên quan, tạo ra tương tác tự nhiên hơn. Nếu không có đủ ngữ cảnh, trợ lý có thể xử lý từng truy vấn một cách độc lập, dẫn đến các cuộc trò chuyện rời rạc. Bạn có thể khám phá các nền tảng như Ultralytics HUB để xây dựng và triển khai các mô hình AI.
• Văn bản dự đoán và Tự động hoàn thành: Khi bạn nhập trên điện thoại hoặc sử dụng công cụ tìm kiếm, thuật toán văn bản dự đoán sẽ phân tích cửa sổ ngữ cảnh của các từ vừa nhập để gợi ý từ tiếp theo hoặc hoàn thành cụm từ của bạn. Điều này dựa trên các mẫu thống kê học được từ lượng lớn dữ liệu văn bản, xem xét ngữ cảnh trước đó để đưa ra các phần tiếp theo có khả năng xảy ra. Các khuôn khổ như PyTorch và TensorFlow thường được sử dụng để xây dựng các mô hình như vậy.

Cửa sổ ngữ cảnh so với các thuật ngữ liên quan khác

• Cửa sổ ngữ cảnh so với Chiều dài chuỗi: Chiều dài chuỗi đề cập đến tổng số mã thông báo trong toàn bộ chuỗi đầu vào được cung cấp cho mô hình. Tuy nhiên, cửa sổ ngữ cảnh là phần cụ thể (thường nhỏ hơn) của chuỗi đó mà mô hình chủ động sử dụng để đưa ra dự đoán cho một phần tử cụ thể. Ví dụ: một tài liệu có thể có chiều dài chuỗi là 1000 mã thông báo, nhưng mô hình chỉ có thể sử dụng cửa sổ ngữ cảnh gồm 128 mã thông báo xung quanh một từ mục tiêu. Thư viện Hugging Face Transformers cung cấp các công cụ để xử lý chuỗi và cửa sổ ngữ cảnh.
• Cửa sổ ngữ cảnh so với trường tiếp nhận: Trong Mạng nơ-ron tích chập (CNN) , trường tiếp nhận mô tả phạm vi không gian của hình ảnh đầu vào ảnh hưởng đến việc kích hoạt một nơ-ron cụ thể. Trong khi cả hai thuật ngữ đều liên quan đến phạm vi đầu vào được xem xét, trường tiếp nhận là cụ thể cho miền không gian trong CNN, trong khi cửa sổ ngữ cảnh thường đề cập đến miền tuần tự (như thời gian hoặc vị trí văn bản) trên nhiều kiến trúc mô hình khác nhau, bao gồm Mạng nơ-ron hồi quy (RNN) và Bộ biến đổi. Để biết thêm chi tiết về kiến trúc mô hình, hãy xem tài liệu mô hình Ultralytics .