Thuật ngữ

Cửa sổ ngữ cảnh

Khám phá cách cửa sổ ngữ cảnh cải thiện các mô hình AI/ML trong NLP, phân tích chuỗi thời gian và AI thị giác, cải thiện dự đoán và độ chính xác.

Cửa sổ ngữ cảnh là một khái niệm cơ bản trong học máy (ML) , đề cập đến lượng thông tin cố định mà một mô hình có thể xem xét cùng một lúc khi xử lý dữ liệu tuần tự. Hãy coi nó như bộ nhớ ngắn hạn của mô hình. Cho dù dữ liệu là văn bản, chuỗi giá cổ phiếu hay khung hình trong video, cửa sổ ngữ cảnh xác định lượng dữ liệu quá khứ gần mà mô hình có thể "nhìn thấy" để hiểu dữ liệu đầu vào hiện tại và đưa ra dự đoán chính xác. Cơ chế này rất quan trọng đối với các tác vụ mà ngữ cảnh là chìa khóa để diễn giải, chẳng hạn như trong Xử lý Ngôn ngữ Tự nhiên (NLP)phân tích chuỗi thời gian .

Cửa sổ ngữ cảnh hoạt động như thế nào?

Các mô hình xử lý dữ liệu tuần tự, chẳng hạn như Mạng nơ-ron hồi quy (RNN) và đặc biệt là Transformers , dựa vào cửa sổ ngữ cảnh. Khi một mô hình phân tích một phần dữ liệu theo trình tự, nó không chỉ xem xét điểm dữ liệu riêng lẻ đó một cách riêng biệt. Thay vào đó, nó xem xét điểm dữ liệu cùng với một số điểm dữ liệu cụ thể trước đó—nhóm điểm này là cửa sổ ngữ cảnh. Ví dụ, trong một mô hình ngôn ngữ, để dự đoán từ tiếp theo trong một câu, mô hình sẽ xem xét một vài từ cuối cùng. Số lượng từ mà nó xem xét được xác định bởi kích thước cửa sổ ngữ cảnh của nó. Điều này giúp mô hình nắm bắt các phụ thuộc và các mẫu cần thiết để hiểu thông tin tuần tự. Tổng quan về cách thức hoạt động của các mô hình ngôn ngữ có thể được tìm thấy trong phần giới thiệu về LLM này.

Ví dụ về cửa sổ ngữ cảnh trong các ứng dụng AI/ML thực tế

Khái niệm về cửa sổ ngữ cảnh là một phần không thể thiếu của nhiều ứng dụng AI :

  • Chatbot và Trợ lý ảo : Các chatbot hiện đại sử dụng cửa sổ ngữ cảnh để duy trì lịch sử trò chuyện. Điều này cho phép chúng hiểu các câu hỏi tiếp theo, tham khảo lại các điểm trước đó và cung cấp các tương tác tự nhiên, mạch lạc hơn, tránh các phản hồi lặp lại hoặc không liên quan. Các mô hình như Gemini của Google tận dụng các cửa sổ ngữ cảnh lớn cho cuộc đối thoại phức tạp.
  • Phân tích Chuỗi Thời gian cho Dự báo Tài chính : Các mô hình tài chính phân tích chuỗi giá cổ phiếu, chỉ số kinh tế hoặc khối lượng giao dịch trong quá khứ trong một khung thời gian xác định để dự đoán biến động thị trường trong tương lai. Kích thước khung thời gian quyết định mức độ ảnh hưởng của dữ liệu lịch sử đến dự đoán. AI trong tài chính thường dựa vào các khung thời gian được điều chỉnh cẩn thận.
  • Thuật toán Dự đoán Văn bản : Khi bạn gõ trên điện thoại thông minh, bàn phím sẽ gợi ý từ tiếp theo dựa trên các từ trước đó trong cửa sổ ngữ cảnh, giúp cải thiện tốc độ và độ chính xác khi gõ. Tính năng này là ứng dụng trực tiếp của một cửa sổ ngữ cảnh nhỏ gọn, hiệu quả.

Những cân nhắc chính và các khái niệm liên quan

Việc lựa chọn kích thước cửa sổ ngữ cảnh phù hợp đòi hỏi phải đánh đổi. Cửa sổ lớn hơn có thể nắm bắt được nhiều ngữ cảnh hơn và có khả năng cải thiện độ chính xác của mô hình , đặc biệt là đối với các tác vụ đòi hỏi sự hiểu biết về phụ thuộc tầm xa. Tuy nhiên, chúng đòi hỏi nhiều bộ nhớ và sức mạnh tính toán hơn, có khả năng làm chậm quá trình huấn luyện và suy luận. Các kỹ thuật như Transformer-XL đang được phát triển để xử lý các ngữ cảnh dài hơn một cách hiệu quả hơn, như đã được trình bày chi tiết trong nghiên cứu của Đại học Carnegie Mellon .

Sẽ rất hữu ích khi phân biệt Cửa sổ ngữ cảnh với các thuật ngữ liên quan:

  • Trường tiếp nhận : Mặc dù về mặt khái niệm tương tự (vùng đầu vào ảnh hưởng đến đầu ra), trường tiếp nhận thường đề cập đến phạm vi không gian trong các đầu vào như hình ảnh được xử lý bởi Mạng nơ-ron tích chập (CNN) . Cửa sổ ngữ cảnh thường áp dụng cho dữ liệu tuần tự (văn bản, chuỗi thời gian, khung video).
  • Độ dài chuỗi: Trong nhiều mô hình, đặc biệt là Transformers, kích thước cửa sổ ngữ cảnh xác định trực tiếp độ dài chuỗi tối đa mà mô hình có thể xử lý cùng một lúc. Các chuỗi dài hơn có thể cần được cắt bớt hoặc xử lý bằng các kiến trúc chuyên biệt. Điều này rất quan trọng đối với các mô hình Chuỗi-đến-Chuỗi .

Các framework như PyTorch (thông qua trang web chính thức của PyTorch ) và TensorFlow (chi tiết trên trang web chính thức của TensorFlow ) cung cấp các công cụ để xây dựng mô hình, trong đó cửa sổ ngữ cảnh là một tham số quan trọng. Việc triển khai mô hình hiệu quả thường đòi hỏi việc tối ưu hóa xử lý ngữ cảnh, có thể được quản lý thông qua các nền tảng như Ultralytics HUB .

Tham gia cộng đồng Ultralytics

Tham gia vào tương lai của AI. Kết nối, cộng tác và phát triển với những nhà đổi mới toàn cầu

Tham gia ngay
Liên kết đã được sao chép vào clipboard