Chuẩn hóa & Lọc Nhóm Dữ liệu Thuần thục với GroupBy Transform và Filter

Mục tiêu kiến thức

• Phân biệt bản chất giữa groupby.agg(), groupby.transform() và groupby.filter().
• Sử dụng filter() để loại bỏ các nhóm không đáp ứng điều kiện quy mô mà không cần lặp thủ công.
• Sử dụng transform() để broadcast kết quả thống kê (mean, std) của từng nhóm trở lại kích thước dòng ban đầu.
• Xử lý các trường hợp đặc biệt: nhóm có độ lệch chuẩn bằng 0 hoặc nhóm chỉ có 1 phần tử.

Mô tả bài toán

Trong phân tích tăng trưởng (Cohort Analysis), hành vi người dùng thường được phân tích theo từng nhóm đăng ký hoặc phân khúc khách hàng (cohort_col). Để so sánh công bằng giữa các nhóm có quy mô và phân phối khác nhau, cần chuẩn hóa chỉ số đo lường (metric_col) về điểm Z-score nội nhóm.

Hãy viết hàm: standardize_cohort_metrics(df: pd.DataFrame, cohort_col: str, metric_col: str, min_size: int = 5, outlier_zscore_thresh: float = 3.0) -> pd.DataFrame

Yêu cầu thực hiện:

• Kiểm tra đầu vào:
• Cột cohort_col và metric_col phải có trong df.columns. Nếu không, ném ValueError("Columns not found in DataFrame").
• Cột metric_col phải là kiểu số (is_numeric_dtype). Nếu không, ném TypeError("metric_col must be numeric").
• Lọc nhóm theo quy mô (filter):
• Loại bỏ toàn bộ các dòng thuộc về những nhóm có tổng số bản ghi nhỏ hơn min_size:

filtered_df = df.groupby(cohort_col).filter(lambda g: len(g) >= min_size)

• Nếu sau khi lọc không còn dòng nào, trả về một DataFrame rỗng với đầy đủ các cột của bảng gốc kèm cột mới {metric_col}_zscore.
• Chuẩn hóa Z-Score theo nhóm (transform):
• Tính kỳ vọng mu và độ lệch chuẩn mẫu sigma (ddof=1) cho từng cohort:

mu = filtered_df.groupby(cohort_col)[metric_col].transform('mean') sigma = filtered_df.groupby(cohort_col)[metric_col].transform('std')

• Tính Z-score: Z = x - musigma.
• Xử lý biên số học: Nếu sigma == 0 hoặc sigma bị NaN (do tất cả các giá trị trong nhóm bằng nhau), gán điểm Z-score bằng 0.0.
• Gán giá trị vào cột mới: f"{metric_col}_zscore".
• Loại bỏ ngoại lai nội nhóm:
• Giữ lại các dòng thỏa mãn điều kiện: |Z| ≤ outlier_zscore_thresh.
• Đầu ra:
• Reset Index của DataFrame kết quả về dạng số tuần tự (reset_index(drop=True)).
• Trả về DataFrame đã chuẩn hóa.

Ràng buộc

• Số dòng dữ liệu: 1 ≤ N ≤ 10⁵.
• min_size ≥ 1, outlier_zscore_thresh > 0.0.
• Không làm thay đổi DataFrame df gốc.