Phát hiện và Khắc phục Rò rỉ Dữ liệu (Data Leakage) khi Chuẩn hóa

Mục tiêu kiến thức

• Hiểu định nghĩa Data Leakage: việc sử dụng thông tin từ tập Test/Validation trong quá trình huấn luyện.
• Nắm vững quy tắc vàng: Thông số chuẩn hóa (Mean và Std) chỉ được học trên tập Train (fit), sau đó áp dụng biến đổi (transform) sang tập Test.
• Xây dựng hàm tự động phát hiện xem tập Test có bị chuẩn hóa độc lập (leaked) hay không.

Mô tả bài toán

Nhiều kỹ sư mới thường chuẩn hóa toàn bộ tập dữ liệu trước khi chia train/test, hoặc gọi scaler.fit_transform(X_test). Điều này tạo ra kết quả kiểm thử ảo tưởng rất cao trong phòng lab nhưng mô hình lập tức thất bại thảm hại khi triển khai vào thực tế.

Yêu cầu

Viết 3 hàm:

• fit_scaler_parameters(X_train: np.ndarray) -> dict[str, np.ndarray]:
• Tính trung bình mean (shape (D,)) và độ lệch chuẩn std (shape (D,)) trên từng cột của tập X_train.
• Với những cột có std == 0, gán std = 1.0 để chống chia cho 0.
• Trả về {"mean": mean, "std": std}.
• apply_scaler_transform(X: np.ndarray, scaler_params: dict[str, np.ndarray]) -> np.ndarray:
• Chuẩn hóa: Z = X - meanstd.
• Trả về mảng đã chuẩn hóa.
• detect_leakage(train_processed: np.ndarray, test_processed: np.ndarray, raw_train: np.ndarray, raw_test: np.ndarray) -> bool:
• Phân tích xem test_processed có bị chuẩn hóa dựa trên chính thống kê của raw_test hay không.
• Nếu trung bình của từng cột trong test_processed xấp xỉ 0 (|mean| < 10^-7) và độ lệch chuẩn xấp xỉ 1 (|std - 1.0| < 10^-7), trong khi raw_test có phân phối khác raw_train, trả về True (phát hiện có rò rỉ dữ liệu). Dùng ngưỡng tuyệt đối, tương đương rtol=0; ngược lại trả về False.

import numpy as np

def fit_scaler_parameters(X_train: np.ndarray) -> dict[str, np.ndarray]:
    pass

def apply_scaler_transform(X: np.ndarray, scaler_params: dict[str, np.ndarray]) -> np.ndarray:
    pass

def detect_leakage(train_processed: np.ndarray, test_processed: np.ndarray, raw_train: np.ndarray, raw_test: np.ndarray) -> bool:
    pass

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.