Cài đặt SGD thuần với Learning Rate Scheduler (StepLR & ExponentialLR)

Mô tả bài toán

Trong quá trình huấn luyện mạng nơ-ron, tốc độ học (learning rate η) cố định thường khiến mô hình khó hội tụ vào cực tiểu địa phương tối ưu. Kỹ thuật giảm dần tốc độ học (Learning Rate Decay/Scheduling) đóng vai trò quyết định.

Hãy cài đặt lớp SGDWithSchedule:

• __init__(self, params: dict[str, np.ndarray], lr: float = 0.1, decay_type: str = "none", gamma: float = 0.9, step_size: int = 10):
• params: dictionary chứa các tham số mô hình (numpy float64 array).
• decay_type: một trong 3 giá trị "none", "step" (StepLR), hoặc "exp" (ExponentialLR).
• gamma: hệ số suy giảm (0 < γ < 1).
• step_size: chu kỳ bước thực hiện suy giảm đối với StepLR.
• step(self, grads: dict[str, np.ndarray]) -> None:
• Cập nhật tham số theo công thức SGD: θ ← θ - η · g.
• Nếu grads không khớp khóa với params hoặc sai shape, raise ValueError.
• step_scheduler(self) -> None:
• Đếm số lần gọi scheduler step_count (bắt đầu từ 0).
• Nếu decay_type == "step": sau mỗi step_size lần gọi step_scheduler (tức khi (step_count + 1) % step_size == 0), η ← η · γ.
• Nếu decay_type == "exp": sau mỗi lần gọi step_scheduler, η ← η · γ.
• get_lr(self) -> float: trả về learning rate hiện tại.

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.