Hồi quy Tuyến tính Đa biến OLS bằng Phương trình Chuẩn tắc

Mục tiêu kiến thức

• Nắm vững công thức giải tích OLS: beta = (X^T X)^-1 X^T y.
• Xây dựng ma trận thiết kế (Design Matrix) với cột hệ số chặn (intercept) toàn 1.
• Đo lường độ khớp của mô hình bằng hệ số xác định R² = 1 - RSSTSS.
• Sử dụng giả nghịch đảo (pseudo-inverse) để xử lý trường hợp ma trận bị suy biến do đa cộng tuyến (collinearity).

Mô tả bài toán

Trong kinh tế lượng và khoa học dữ liệu, Ordinary Least Squares (OLS) là phương pháp hồi quy cơ bản nhất. Việc hiểu cách giải hệ phương trình chuẩn tắc từ gốc giúp kỹ sư nắm rõ bản chất hình học của phép chiếu không gian trước khi dùng các thư viện đóng gói.

Yêu cầu

Viết 2 hàm:

• fit_ols_normal_equation(X: np.ndarray, y: np.ndarray, fit_intercept: bool = True) -> dict[str, Any]:
• Nếu fit_intercept=True, chèn thêm một cột toàn số 1 vào đầu ma trận X để tạo ma trận thiết kế X_ext ∈ R^{N × (D+1)}.
• Tính vector tham số beta tối ưu theo phương trình chuẩn tắc. Khuyến nghị dùng np.linalg.pinv để chống lỗi ma trận kì dị:

beta = (X_ext^T X_ext)^-1 X_ext^T y

• Tính dự đoán: y = X_ext beta.
• Tính phần dư: e = y - y và tổng bình phương phần dư RSS = Σ e².
• Tính tổng bình phương độ lệch TSS = Σ (y - y)². Nếu TSS < 10^-12, đặt R² = 1.0. Ngược lại R² = 1 - RSSTSS.
• Trả về dictionary:
• "weights": Mảng trọng số ứng với các đặc trưng gốc (shape (D,)).
• "intercept": Giá trị hệ số chặn float (bằng 0.0 nếu fit_intercept=False).
• "residuals": Mảng phần dư (shape (N,)).
• "r_squared": Giá trị float của R².
• predict_ols(X: np.ndarray, model: dict[str, Any]) -> np.ndarray:
• Dự đoán: y = X · weights + intercept.

import numpy as np
from typing import Any

def fit_ols_normal_equation(X: np.ndarray, y: np.ndarray, fit_intercept: bool = True) -> dict[str, Any]:
    pass

def predict_ols(X: np.ndarray, model: dict[str, Any]) -> np.ndarray:
    pass

Ràng buộc

• Thời gian chạy tối đa: 3000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.