Hồi quy Tuyến tính Vector hóa với Gradient Descent
Khi số lượng đặc trưng D > 100,000 hoặc tập dữ liệu có hàng triệu mẫu, phép nghịch đảo ma trận OLS O(D3) trở nên bất khả thi về mặt tính toán. Lúc này, Gradient Descent…
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: linear-regression-ols-normal-equation.
Nội dung đề bài
Mục tiêu kiến thức
- Hiểu thuật toán hạ độ dốc (Gradient Descent) cho hàm mất mát sai số toàn phương trung bình (MSE).
- Đạo hàm ma trận của MSE: ∇W = 1N XT (y - y) và ∇b = 1N ∑ (y - y).
- Theo dõi đường cong hàm mất mát (Loss Curve) giảm đơn điệu theo số vòng lặp (epochs).
Mô tả bài toán
Khi số lượng đặc trưng D > 100,000 hoặc tập dữ liệu có hàng triệu mẫu, phép nghịch đảo ma trận OLS O(D3) trở nên bất khả thi về mặt tính toán. Lúc này, Gradient Descent O(N D) là giải pháp bắt buộc.
Yêu cầu
Viết hàm train_linear_regression_gd(X: np.ndarray, y: np.ndarray, lr: float = 0.01, epochs: int = 200) -> tuple[np.ndarray, float, list[float]]:
- Khởi tạo trọng số W = 0 (shape
(D,)) và hệ số chặn b = 0.0. - Với mỗi epoch từ 1 đến
epochs: - Dự đoán: y = X W + b (shape
(N,)). - Tính sai số: error = y - y.
- Tính giá trị hàm mất mát MSE: L = 12N ∑ error2. Ghi nhận vào danh sách
loss_history. - Tính gradient vector hóa:
∇W = 1N XT · error ∇b = 1N ∑ error
- Cập nhật trọng số theo hướng ngược gradient:
W = W - lr × ∇W b = b - lr × ∇b
- Trả về
(W, b, loss_history).
import numpy as np
def train_linear_regression_gd(X: np.ndarray, y: np.ndarray, lr: float = 0.01, epochs: int = 200) -> tuple[np.ndarray, float, list[float]]:
passInput
- Hàm
train_linear_regression_gd(X,y,lr,epochs): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
train_linear_regression_gd: Trả về kết quả kiểutuple[np.ndarray, float, list[float]]theo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 2000ms.
- Giới hạn bộ nhớ: 256MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
np.random.seed(42)
X = np.random.randn(100, 2)
y = 3.0 * X[:, 0] - 2.0 * X[:, 1] + 4.0
W, b, loss_hist = train_linear_regression_gd(X, y, lr=0.1, epochs=300)Output
([ 3., -2.], 4, [11.505046069957466, 9.694497125320545, 8.178610304127089, 6.907826370132741, 5.841177524016171, 4.94475833580327, 4.190474803526155, 3.555020064092882, 3.0190349376247156, 2.5664193121293835, 2.1837667207148423, 1.8598996108963044, 1.585486983035719... (truncated))Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
X = np.array([[1.0], [2.0], [3.0], [4.0], [5.0]])
y = np.array([2.0, 4.0, 6.0, 8.0, 10.0])
W, b, loss_hist = train_linear_regression_gd(X, y, lr=0.01, epochs=100)Output
([1.8797], 0.434411, [22.0, 17.1076, 13.30433752, 10.347746760976003, 8.049340119502883, 6.262591459528566, 4.8735945709649755, 3.793801259935531, 2.9543760991375922, 2.301807934380465, 1.7944983658568554, 1.4001097081806086, 1.0935033525881355, 0.8551370948546204, 0.669... (truncated))Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.