Hồi quy Logistic thuần vector hóa kèm L2 Regularization và Gradient Descent

Mục tiêu kiến thức

• Triển khai mô hình phân loại nhị phân Logistic Regression từ con số 0.
• Khắc phục lỗi tràn số học dấu phẩy động bằng hàm Sigmoid ổn định số học (np.clip).
• Vector hóa toàn bộ vòng lặp Gradient Descent với số hạng điều chuẩn L₂ (Ridge Penalty).

Mô tả bài toán

Viết hàm logistic_regression_fit(X: np.ndarray, y: np.ndarray, lr: float = 0.1, lambda_reg: float = 0.01, epochs: int = 100) -> tuple[np.ndarray, float, list[float]]:

• X: Ma trận đặc trưng kích thước (N, D).
• y: Vector nhãn nhị phân kích thước (N,) có giá trị trong {0, 1}.
• Kiểm tra tính hợp lệ:
• Nếu len(X) != len(y) hoặc len(X) == 0, raise ValueError("Du lieu khong hop le").
• Khởi tạo:
• Trọng số w = np.zeros(D), hệ số chệch b = 0.0.
• Trong mỗi epoch (t = 0, 1, …, epochs - 1):
• Dự báo tuyến tính: z = X · w + b.
• Sigmoid an toàn số học:

y = 11 + e^{-np.clip(z, -30, 30)}.

• Hàm mất mát Binary Cross-Entropy có điều chuẩn L₂:

J = -1N ∑_i=1^N [y_i ln(y_i + 10^-15) + (1 - y_i) ln(1 - y_i + 10^-15)] + λ2N |w|². Lưu J vào loss_history.

• Tính gradient vector hóa:

error = y - y dw = 1N (X^T · error) + λN w db = 1N ∑_i=1^N error_i

• Cập nhật tham số:

w = w - lr × dw b = b - lr × db

• Trả về (w, b, loss_history).

Ràng buộc

• Thời gian chạy tối đa: 1000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào tuân thủ đúng kiểu dữ liệu và miền giá trị được mô tả.