Hồi quy ElasticNet với Thuật toán Hạ tọa độ (Coordinate Descent)

Mục tiêu kiến thức

• Hiểu hàm mục tiêu kết hợp L1 (Lasso) và L2 (Ridge):

L(w) = 12N |y - X w|² + α · ρ |w|₁ + 12 α (1 - ρ) |w|₂² trong đó α là hệ số phạt tổng thể và ρ = l1_ratio ∈ [0, 1].

• Toán tử hạ tọa độ với Soft-Thresholding:

ρ_j = 1N X_j^T (y - X w + X_j w_j) S(ρ_j, λ₁) = sign(ρ_j) max(0, |ρ_j| - λ₁) với λ₁ = α · ρ. Mẫu số chuẩn hóa: z_j = 1N |X_j|² + α (1 - ρ) Cập nhật: w_j = S(ρ_j, λ₁)z_j.

Mô tả bài toán

Cài đặt lớp ElasticNetCoordinateDescent(alpha=1.0, l1_ratio=0.5, max_iter=1000, tol=1e-4):

• fit(self, X: np.ndarray, y: np.ndarray) -> self:
• X: mảng 2D kích thước (N, D). y: mảng 1D kích thước (N,).
• Kiểm tra hợp lệ: X 2D, y 1D, cùng số dòng, N > 0. Nếu sai, raise ValueError.
• Khởi tạo w = 0 kích thước (D,).
• Lặp tuần hoàn qua các tọa độ j = 0, …, D-1:
• Cập nhật w_j theo công thức trên.
• Sau mỗi chu kỳ qua tất cả D tọa độ, kiểm tra điều kiện hội tụ: max_j |w_j^(t) - w_j^(t-1)| < tol. Nếu thỏa mãn thì dừng sớm.
• predict(self, X: np.ndarray) -> np.ndarray:
• Dự đoán y = X w. Trả về mảng 1D.

Ràng buộc

• Thời gian chạy tối đa: 1500ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào tuân thủ đúng kiểu dữ liệu và miền giá trị được mô tả.