Cài đặt Thuật toán Tối ưu SGD với Momentum & Weight Decay từ Gốc

Mục tiêu kiến thức

• Hiểu cách hoạt động của biến vận tốc (velocity buffer) v để vượt qua các thung lũng phẳng và dao động hình zigzag.
• Công thức cập nhật tiêu chuẩn:
• Nếu có L2 Weight Decay (lambda > 0): g_t arrow g_t + lambda · w_t.
• Cập nhật vận tốc: v_t+1 = beta · v_t + g_t.
• Nếu nesterov=True: u_t = g_t + beta · v_t+1. Ngược lại: u_t = v_t+1.
• Cập nhật tham số: w_t+1 = w_t - alpha · u_t.

Trong đó: alpha là learning rate, beta là momentum coefficient, lambda là weight decay.

Yêu cầu

Xây dựng lớp SGDMomentumOptimizer:

class SGDMomentumOptimizer:
    def __init__(self, params: list[np.ndarray], lr: float = 0.01, momentum: float = 0.9, weight_decay: float = 0.0, nesterov: bool = False):
        pass

    def step(self, grads: list[np.ndarray]) -> None:
        pass

• params: Danh sách các mảng NumPy tham số cần cập nhật tại chỗ (in-place mutation).
• Khởi tạo bộ đệm vận tốc v bằng 0 cho từng tham số.
• Phương thức step(grads): Nhận danh sách các gradient tương ứng với từng tham số, cập nhật w tại chỗ theo công thức trên.

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.