Động cơ Tính toán Ma trận Đánh giá Phân loại Đa lớp & ROC-AUC

Mục tiêu kiến thức

• Xây dựng hệ thống đo lường hiệu năng mô hình phân loại (Classification Metrics Engine) theo chuẩn công nghiệp AI.
• Tự thiết lập Ma trận nhầm lẫn (Confusion Matrix C_ij) cho bài toán phân loại đa lớp bất kỳ (K ≥ 2).
• Tính toán chính xác độ chuẩn xác (Precision), độ nhạy (Recall), điểm F1 theo cả hai phương thức Macro-average và Micro-average, xử lý triệt để trường hợp mẫu số bằng 0.
• Tự cài đặt thuật toán tính Diện tích dưới đường cong ROC (ROC-AUC) cho bài toán nhị phân bằng tích phân hình thang (Trapezoidal Numerical Integration) không cần scikit-learn.

Mô tả bài toán

Khi đánh giá mô hình học máy phân loại gian lận hoặc chẩn đoán y tế, chỉ số Accuracy thường vô nghĩa do mất cân bằng dữ liệu nghiêm trọng (Imbalanced Classes). Kỹ sư AI cần có một công cụ đo lường toàn diện phản ánh đúng ma trận nhầm lẫn, các chỉ số F1 và khả năng phân tách của phân phối xác suất dự đoán (ROC-AUC).

Hãy viết hàm: compute_classification_evaluation(y_true: np.ndarray, y_pred: np.ndarray, y_prob: np.ndarray = None, num_classes: int = 2) -> dict

Yêu cầu thực hiện:

• Kiểm tra đầu vào:
• y_true và y_pred phải là mảng 1D số nguyên có cùng kích thước N ≥ 1. Các nhãn phải nằm trong khoảng [0, num_classes - 1]. Nếu không, ném ValueError.
• num_classes phải là số nguyên ≥ 2.
• Ma trận nhầm lẫn (Confusion Matrix):
• Tạo ma trận C ∈ Z^{K × K} với K = num_classes:

C_ij = ∑_m=1^N I(y_true[m] == i and y_pred[m] == j)

• Trong đó dòng i là nhãn thực tế, cột j là nhãn dự đoán.
• Chỉ số theo từng lớp (Per-Class Metrics):
• Với mỗi lớp k ∈ [0, K - 1]:
• TP_k = C_kk
• FP_k = ∑_{i ≠ k} C_ik
• FN_k = ∑_{j ≠ k} C_kj
• Precision_k = TP_kTP_k + FP_k (gán 0.0 nếu mẫu số = 0).
• Recall_k = TP_kTP_k + FN_k (gán 0.0 nếu mẫu số = 0).
• F1_k = 2 × Precision_k × Recall_kPrecision_k + Recall_k (gán 0.0 nếu mẫu số = 0).
• Chỉ số Tổng hợp toàn cục:
• Accuracy: ∑_k=0^K-1 C_kkN.
• Macro Metrics: Trung bình số học giản đơn của các lớp:

Macro_Precision = 1K ∑ Precision_k Macro_Recall = 1K ∑ Recall_k Macro_F1 = 1K ∑ F1_k.

• Micro Metrics:

Micro_Precision = Micro_Recall = Micro_F1 = Accuracy.

• Tính diện tích ROC-AUC (nếu num_classes == 2 và y_prob khác None):
• y_prob là mảng 1D xác suất dự đoán của lớp 1 (các giá trị ∈ [0.0, 1.0]).
• Sắp xếp các giá trị xác suất duy nhất theo thứ tự giảm dần làm các ngưỡng phân loại θ. Thêm ngưỡng ∞ và -∞.
• Tại mỗi ngưỡng θ, dự đoán y = 1 nếu p ≥ θ ngược lại 0.
• Tính cặp (FPR(θ), TPR(θ)):

TPR = TPTP + FN, FPR = FPFP + TN.

• Tính diện tích tích phân bằng công thức hình thang:

AUC = ∑_i=1^M-1 (FPR_i - FPR_i-1) × TPR_i + TPR_i-12.

• Nếu dữ liệu chỉ có 1 lớp (không có cả 0 và 1 trong y_true), gán roc_auc = 0.5.
• Đầu ra:
• Trả về dictionary:

     {
         "confusion_matrix": C.tolist(),
         "accuracy": round(acc, 4),
         "macro_precision": round(macro_p, 4),
         "macro_recall": round(macro_r, 4),
         "macro_f1": round(macro_f1, 4),
         "micro_f1": round(micro_f1, 4),
         "roc_auc": round(auc, 4) if auc is not None else None
     }

Ràng buộc

• Số mẫu: 1 ≤ N ≤ 10⁵.
• Tuyệt đối không dùng thư viện sklearn.metrics.