Định Hình Lại Tensor Đầu Ra và Nhãn Mục Tiêu Cho Hàm Mất Mát (Cross-Entropy Tensor Flattening with Ignore Index)

Mô tả bài toán

Đầu ra của mô hình ngôn ngữ tự hồi quy là một tensor Logits 3 chiều có shape (B, T, V) trong đó B là batch size, T là độ dài chuỗi và V là kích thước từ điển. Nhãn mục tiêu targets có shape (B, T).

Để tính hàm mất mát Cross-Entropy chuẩn, ta cần:

• Duỗi phẳng (flatten) tensor Logits thành ma trận 2 chiều (B × T, V).
• Duỗi phẳng nhãn targets thành vector 1 chiều (B × T,).
• Lọc bỏ các vị trí có giá trị bằng ignore_index (thường là -100).

Yêu cầu kỹ thuật:

Viết hàm flatten_logits_and_targets(logits: np.ndarray, targets: np.ndarray, ignore_index: int = -100) -> tuple[np.ndarray, np.ndarray]:

• logits: Mảng NumPy float shape (B, T, V).
• targets: Mảng NumPy int shape (B, T).
• Kiểm tra tính tương thích: logits.shape[0] == targets.shape[0] và logits.shape[1] == targets.shape[1]. Nếu không, ném ValueError("Shape mismatch between logits and targets").
• Làm phẳng:
• flat_logits = logits.reshape(-1, V)
• flat_targets = targets.reshape(-1)
• Lọc bỏ các phần tử có flat_targets == ignore_index.
• Trả về tuple (filtered_logits, filtered_targets) có số hàng M ≤ B × T tương ứng với các token hợp lệ.

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.