Cửa Sổ Chú Ý Trượt (Sliding Window Attention - SWA) Mistral AI

Mục tiêu kiến thức

• Trong mô hình Transformer thông thường, mỗi token ở vị trí i chú ý đến toàn bộ i token trước đó (độ phức tạp O(S²)).
• Sliding Window Attention (SWA - Mistral 7B):
• Token ở vị trí i chỉ được phép chú ý đến các token trong phạm vi cửa sổ cố định W:

i - W < j ≤ i

• Các vị trí ngoài cửa sổ j ≤ i - W hoặc ở tương lai j > i đều bị gán giá trị -∞.
• Mặc dù mỗi tầng chỉ chú ý đến W token, qua L tầng Transformer, trường tiếp nhận lý thuyết mở rộng thành L × W nhờ lan truyền thông tin phân tầng.
• Giảm độ phức tạp tính toán từ O(S²) xuống O(S × W).

Yêu cầu

Viết hàm:

def create_sliding_window_mask(seq_len: int, window_size: int) -> torch.Tensor:
    pass

• Trả về tensor 2D shape (seq_len, seq_len).
• Các vị trí hợp lệ (i - W < j ≤ i) nhận giá trị 0.0.
• Tất cả các vị trí còn lại nhận giá trị -float('inf').

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.