Đệm Độ Dài Chuỗi và Sinh Mặt Nạ Chú Ý (Sequence Dynamic Padding and Attention Mask)

Mô tả bài toán

Trong một mini-batch huấn luyện hoặc sinh văn bản, các câu có độ dài tự nhiên khác nhau. Để gom nhóm thành tensor ma trận (B, T) xử lý đồng thời trên GPU, các câu ngắn hơn phải được đệm (pad) bằng token đặc biệt pad_id.

Đồng thời, cần sinh ra ma trận nhị phân attention_mask có cùng shape (B, T):

• Giá trị 1: đại diện cho token văn bản thật (mô hình cần chú ý).
• Giá trị 0: đại diện cho token đệm pad_id (cần bị triệt tiêu trong phép tính attention).

Yêu cầu kỹ thuật:

Viết hàm:

def pad_sequences_with_mask(
    sequences: list[list[int]],
    pad_id: int = 0,
    max_len: int | None = None,
    padding_side: str = "right"
) -> tuple[np.ndarray, np.ndarray]

• Kiểm tra tham số: padding_side chỉ được phép là "right" hoặc "left". Nếu nhận giá trị khác, ném ValueError(f"Invalid padding_side: {padding_side}").
• Xác định độ dài mục tiêu target_len:
• Nếu max_len is not None: dùng chính max_len.
• Nếu max_len is None: lấy độ dài lớn nhất trong các chuỗi max(len(s) for s in sequences). (Nếu sequences rỗng, target_len = 0).
• Với mỗi chuỗi s:
• Nếu len(s) > target_len: cắt ngắn s về đúng target_len (cắt đuôi).
• Nếu len(s) < target_len:
• padding_side == "right": Thêm pad_id vào bên phải. Mask tương ứng là 1 ở bên trái, 0 ở bên phải.
• padding_side == "left": Thêm pad_id vào bên trái. Mask tương ứng là 0 ở bên trái, 1 ở bên phải.
• Trả về tuple (padded_ids, attention_mask) kiểu np.int64, shape (B, target_len).

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.