Mã hóa biến định danh Target Encoding với K-Fold Out-of-Fold chống rò rỉ dữ liệu

Mục tiêu kiến thức

• Hiểu hiện tượng rò rỉ mục tiêu (Target Leakage) khi mã hóa biến phân loại bậc cao (High-Cardinality Categoricals).
• Triển khai kỹ thuật Out-of-Fold (OOF) Target Encoding kết hợp K-Fold deterministic.
• Áp dụng công thức làm mượt Bayes (M-estimate Smoothing):

S_c = n_c · y_c + m · yn_c + m trong đó n_c là số mẫu của lớp c, y_c là giá trị trung bình mục tiêu của lớp c, y là giá trị trung bình toàn cục và m là hệ số smoothing.

Mô tả bài toán

Viết hàm kfold_target_encoder(df: pd.DataFrame, cat_col: str, target_col: str, n_splits: int = 5, smoothing: float = 10.0) -> pd.Series:

• Kiểm tra tính hợp lệ:
• Nếu cat_col hoặc target_col không có trong df.columns, raise KeyError("Khong tim thay cot yeu cau").
• Nếu n_splits < 2 hoặc len(df) < n_splits, raise ValueError("n_splits khong hop le").
• Tạo K-Fold chia đều các chỉ số dòng 0, 1, ..., N-1 thành n_splits fold liên tiếp (deterministic chunking):
• Fold k gồm các chỉ số từ ⌊ k × N / n_splits ⌋ đến ⌊ (k + 1) × N / n_splits ⌋ - 1.
• Khởi tạo một Series encoded = pd.Series(index=df.index, dtype=float).
• Với mỗi fold k:
• Tập huấn luyện ngoài fold: train_idx là tất cả các chỉ số không thuộc fold k.
• Tập kiểm định trong fold: val_idx là các chỉ số thuộc fold k.
• Trên train_data = df.iloc[train_idx]:
• Tính trung bình toàn cục: y = train_data[target_col].mean().
• Thống kê theo từng category c: số lượng n_c và trung bình y_c.
• Tính giá trị làm mượt: S_c = n_c · y_c + smoothing · yn_c + smoothing.
• Áp dụng vào val_data = df.iloc[val_idx]:
• Ánh xạ giá trị S_c vào từng dòng theo cat_col. Với các category mới chưa từng xuất hiện trong train_data, gán bằng giá trị y toàn cục.
• Lưu kết quả vào encoded.iloc[val_idx].
• Trả về pd.Series đã được mã hóa.

Ràng buộc

• Thời gian chạy tối đa: 1000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào tuân thủ đúng kiểu dữ liệu và miền giá trị được mô tả.