Sinh Tensor Chỉ Số Vị Trí Cho Tầng Positional Encoding (Token Position IDs Generator)

Mô tả bài toán

Trong kiến trúc Transformer, vì cơ chế Self-Attention không phân biệt được thứ tự trước sau của các từ trong câu (tính chất hoán vị đối xứng), mô hình cần tầng Positional Encoding dựa vào các chỉ số vị trí nguyên position_ids: [0, 1, 2, …].

Khi một batch chứa các chuỗi có padding:

• Các token thật (m=1) phải có chỉ số vị trí tăng dần từ 0 đến L_real - 1.
• Các token padding (m=0) được gán vị trí mặc định là 0.
• Cần hỗ trợ chính xác cả hai chế độ:
• Right Padding (ví dụ mask [1, 1, 1, 0, 0]): position_ids là [0, 1, 2, 0, 0].
• Left Padding (ví dụ mask [0, 0, 1, 1, 1]): position_ids là [0, 0, 0, 1, 2].

Yêu cầu kỹ thuật:

Viết hàm generate_position_ids(attention_mask: np.ndarray, padding_side: str = "right") -> np.ndarray:

• attention_mask: Mảng nhị phân (B, T) hoặc 1D (T,) chứa 0 và 1.
• Kiểm tra tham số: padding_side phải thuộc ("right", "left"). Nếu không, ném ValueError(f"Invalid padding_side: {padding_side}").
• Sinh mảng position_ids có cùng shape và kiểu dữ liệu np.int64.
• Đảm bảo token thật đầu tiên của mỗi chuỗi luôn có position_id = 0, và các token thật tiếp theo tăng dần +1.

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.