Hồi quy Softmax Đa lớp (Multinomial Logistic Regression)

Mục tiêu kiến thức

• Mở rộng phân loại nhị phân sang K lớp bằng ma trận trọng số W ∈ R^{D × K} và vector bias b ∈ R^K.
• Cài đặt One-Hot Encoding tất định cho nhãn lớp số nguyên.
• Tính toán ma trận xác suất Softmax và hàm mất mát Categorical Cross-Entropy Loss.
• Cập nhật gradient ma trận: ∇_W = 1N X^T (P - Y_onehot).

Mô tả bài toán

Hầu hết các bài toán thị giác máy tính và phân loại tài liệu đều có ≥ 3 lớp nhãn. Hồi quy Softmax là tầng tuyến tính cuối cùng (linear classification head) của hầu hết các mô hình học sâu hiện đại.

Yêu cầu

Viết 2 hàm:

• one_hot_encode(y: np.ndarray, num_classes: int) -> np.ndarray:
• Chuyển vector nhãn y độ dài N (với giá trị 0 ≤ y_i < num_classes) thành ma trận nhị phân shape (N, num_classes).
• fit_softmax_regression(X: np.ndarray, y: np.ndarray, num_classes: int, lr: float = 0.1, epochs: int = 300) -> tuple[np.ndarray, np.ndarray, list[float]]:
• Khởi tạo W = 0 (shape (D, K)) và b = 0 (shape (K,)).
• Mỗi epoch:
• Tính logits: Z = XW + b (shape (N, K)).
• Tính xác suất Softmax ổn định (trừ max theo hàng): P = softmax(Z).
• Tính mất mát: L = -1N ∑_i=1^N ∑_k=1^K Y_ik log(P_ik + ε).
• Gradient: ∇_W = 1N X^T (P - Y) và ∇_b = 1N ∑ (P - Y).
• Cập nhật W, b.
• Trả về (W, b, loss_history).

import numpy as np

def one_hot_encode(y: np.ndarray, num_classes: int) -> np.ndarray:
    pass

def fit_softmax_regression(X: np.ndarray, y: np.ndarray, num_classes: int, lr: float = 0.1, epochs: int = 300) -> tuple[np.ndarray, np.ndarray, list[float]]:
    pass

Ràng buộc

• Thời gian chạy tối đa: 3000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.