Hồi Quy Tuyến Tính Ridge Bằng Phương Trình Chuẩn Tắc Với np.linalg

Mục tiêu kiến thức

• Áp dụng các phép toán ma trận trong np.linalg: nhân ma trận @, giải hệ phương trình tuyến tính np.linalg.solve().
• Hiểu giải thuật Hồi quy Ridge (L2 Regularization) để khắc phục hiện tượng ma trận kỳ dị (Multicollinearity / Singular Matrix).
• Đánh giá chất lượng mô hình bằng hệ số xác định R² Score.

Mô tả bài toán

Để dự đoán điểm số năng lực hoặc thời gian hoàn thành khóa học của học viên tại AI Empire Academy, ta xây dựng mô hình hồi quy tuyến tính có chính quy hóa Ridge.

Hãy viết hàm: ridge_regression_fit(X: np.ndarray, y: np.ndarray, lambda_reg: float = 1e-3) -> tuple[np.ndarray, float]

Yêu cầu:

• Kiểm tra đầu vào:
• X phải là mảng 2 chiều, y phải là mảng 1 chiều cùng số lượng mẫu (len(X) == len(y)). Nếu không, ném ValueError.
• Nếu lambda_reg < 0: ném ValueError("lambda_reg phai >= 0").
• Bổ sung hệ số tự do (Bias / Intercept):
• Ghép thêm một cột toàn số 1 vào bên phải ma trận X: X_b = [X, 1] có shape (N, D + 1).
• Giải phương trình chuẩn tắc Ridge:
• Ma trận hệ số: A = X_b^T X_b + λ I_(D+1).
• Vector vế phải: b = X_b^T y.
• Tìm nghiệm vector trọng số w bằng hàm np.linalg.solve(A, b).
• Tính hệ số xác định R²:
• Dự đoán y = X_b w.
• SS_res = ∑ (y - y)².
• SS_tot = ∑ (y - y)² (với y = mean(y)).
• R² = 1.0 - SS_resSS_tot + 10^-12.
• Kết quả trả về: Tuple (weights, float(r2)).

Ràng buộc

• Thời gian chạy tối đa: 1000ms.
• Giới hạn bộ nhớ: 256MB.