Cài đặt SGD thuần với Learning Rate Scheduler (StepLR & ExponentialLR)
Trong quá trình huấn luyện mạng nơ-ron, tốc độ học (learning rate eta) cố định thường khiến mô hình khó hội tụ vào cực tiểu địa phương tối ưu. Kỹ thuật giảm dần tốc độ học (Learnin
Tiến độ của tôi ở bài này
Điểm và code bạn nộp được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: gradient-descent-univariate, matrix-gradient-descent-linear-regression.
Nội dung đề bài
Mô tả bài toán
Trong quá trình huấn luyện mạng nơ-ron, tốc độ học (learning rate eta) cố định thường khiến mô hình khó hội tụ vào cực tiểu địa phương tối ưu. Kỹ thuật giảm dần tốc độ học (Learning Rate Decay/Scheduling) đóng vai trò quyết định.
Hãy cài đặt lớp SGDWithSchedule:
- init(self, params: dict[str, np.ndarray], lr: float = 0.1, decay_type: str = "none", gamma: float = 0.9, step_size: int = 10):
- params: dictionary chứa các tham số mô hình (numpy float64 array).
- decay_type: một trong 3 giá trị "none", "step" (StepLR), hoặc "exp" (ExponentialLR).
- gamma: hệ số suy giảm (0 < gamma < 1).
- step_size: chu kỳ bước thực hiện suy giảm đối với StepLR.
- step(self, grads: dict[str, np.ndarray]) -> None:
- Cập nhật tham số theo công thức SGD: theta arrow theta - eta · g.
- Nếu grads không khớp khóa với params hoặc sai shape, raise ValueError.
- step_scheduler(self) -> None:
- Đếm số lần gọi scheduler step_count (bắt đầu từ 0).
- Nếu decay_type == "step": sau mỗi step_size lần gọi step_scheduler (tức khi (step_count + 1) % step_size == 0), eta arrow eta · gamma.
- Nếu decay_type == "exp": sau mỗi lần gọi step_scheduler, eta arrow eta · gamma.
- get_lr(self) -> float: trả về learning rate hiện tại.
Input
- Lớp SGDWithSchedule(params, lr, decay_type, gamma, step_size): Khởi tạo đối tượng với các tham số, trọng số hoặc cấu hình tương ứng.
Output
- Các phương thức của SGDWithSchedule: Trả về kết quả tính toán hoặc cập nhật trạng thái nội bộ của đối tượng.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
w = np.array([10.0, 20.0])
params = {'w': w}
opt = SGDWithSchedule(params, lr=1.0, decay_type='step', gamma=0.5, step_size=2)
opt.step({'w': np.array([1.0, 2.0])})
opt.step_scheduler()
opt.step({'w': np.array([1.0, 2.0])})
opt.step_scheduler()
Output
{
'w': [ 8., 16.]
}
Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
w = np.array([5.0])
params = {'w': w}
opt = SGDWithSchedule(params, lr=0.1, decay_type='exp', gamma=0.9)
for _ in range(3):
opt.step_scheduler()
Output
{
'w': [5.]
}
Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.
