Xây dựng Ma trận Mặt Nạ Nhân Quả Tự Hồi Quy (Causal Lower-Triangular Attention Mask)

Mô tả bài toán

Trong cơ chế Self-Attention tự hồi quy (Causal Self-Attention), token tại vị trí i chỉ được phép chú ý đến các token tại vị trí quá khứ và hiện tại j ≤ i, tuyệt đối không được nhìn thấy các token tương lai j > i.

Ma trận Attention Mask được sử dụng theo 2 hình thức:

• Mặt nạ nhị phân (Binary Mask) M ∈ {0, 1}^{T × T}:

M_ij = 1 & nếu j ≤ i
0 & nếu j > i Đây là một ma trận tam giác dưới (Lower Triangular Matrix) bao gồm cả đường chéo chính.

• Mặt nạ cộng dồn Logit (Additive Attention Mask):

Trước khi tính softmax trên ma trận tương đồng QK^T / √(d), ta cộng ma trận mặt nạ: A_ij = 0.0 & nếu j ≤ i
-10⁹ & nếu j > i Khi đưa qua hàm exp(A_ij), các vị trí tương lai sẽ có exp(-10⁹) ≈ 0, triệt tiêu hoàn toàn trọng số chú ý tương lai.

Yêu cầu kỹ thuật:

• Viết hàm make_binary_causal_mask(seq_len: int) -> np.ndarray:
• Nếu seq_len <= 0: ném ValueError("seq_len must be positive").
• Trả về ma trận tam giác dưới nhị phân shape (T, T), kiểu np.int64.
• Viết hàm make_additive_causal_mask(seq_len: int, min_val: float = -1e9) -> np.ndarray:
• Nếu seq_len <= 0: ném ValueError("seq_len must be positive").
• Trả về ma trận float64 shape (T, T) có giá trị 0.0 tại tam giác dưới và min_val tại tam giác trên.

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.