Hồi quy Logistic và Binary Cross-Entropy Loss từ Gốc

Mục tiêu kiến thức

• Nắm vững hàm kích hoạt Sigmoid: σ(z) = 11 + e^-z với kỹ thuật kẹp giá trị chống tràn số.
• Cài đặt hàm mất mát Binary Cross-Entropy (BCE) có bảo vệ số học bằng hằng số ε.
• Đạo hàm Gradient của hàm BCE: ∇_W = 1N X^T (p - y) và ∇_b = 1N ∑ (p - y).

Mô tả bài toán

Trong phân loại nhị phân (spam/non-spam, gian lận/hợp lệ), hồi quy Logistic là giải pháp đường cơ sở (baseline) mạnh mẽ và có tính diễn giải cao. Kỹ sư AI cần cài đặt chính xác để hiểu cách mô hình ánh xạ từ không gian số thực (-∞, +∞) sang xác suất [0, 1].

Yêu cầu

Viết 3 hàm:

• sigmoid(z: np.ndarray) -> np.ndarray:
• Kẹp z vào đoạn [-500.0, 500.0] để chống tràn số exp.
• Tính σ(z) = 11 + e^-z.
• binary_cross_entropy(y_true: np.ndarray, y_pred_prob: np.ndarray, eps: float = 1e-15) -> float:
• Kẹp xác suất y_pred vào đoạn [ε, 1 - ε] để tránh log(0).
• Tính L = -1N ∑ [y log(p) + (1 - y) log(1 - p)].
• train_logistic_regression(X: np.ndarray, y: np.ndarray, lr: float = 0.1, epochs: int = 300) -> tuple[np.ndarray, float, list[float]]:
• Khởi tạo W = 0, b = 0.0.
• Mỗi epoch tính p = σ(XW + b), tính mất mát BCE, và cập nhật W, b theo gradient.
• Trả về (W, b, loss_history).

import numpy as np

def sigmoid(z: np.ndarray) -> np.ndarray:
    pass

def binary_cross_entropy(y_true: np.ndarray, y_pred_prob: np.ndarray, eps: float = 1e-15) -> float:
    pass

def train_logistic_regression(X: np.ndarray, y: np.ndarray, lr: float = 0.1, epochs: int = 300) -> tuple[np.ndarray, float, list[float]]:
    pass

Ràng buộc

• Thời gian chạy tối đa: 3000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.