Bộ tối ưu hóa RMSprop với trung bình động hàm mũ (Exponential Moving Average)
AdaGrad giải quyết vấn đề điều chỉnh tốc độ học theo từng tọa độ nhưng gặp phải nhược điểm chí mạng: bộ tích lũy Gt tích lũy toàn bộ quá khứ nên tăng đơn điệu không ngừng, khiến l…
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: adagrad-adaptive-subgradient, vanilla-sgd-learning-rate-schedule.
Nội dung đề bài
Mô tả bài toán
AdaGrad giải quyết vấn đề điều chỉnh tốc độ học theo từng tọa độ nhưng gặp phải nhược điểm chí mạng: bộ tích lũy Gt tích lũy toàn bộ quá khứ nên tăng đơn điệu không ngừng, khiến learning rate tiến về 0 và dừng học sớm.
Geoffrey Hinton (2012) đề xuất RMSprop (Root Mean Square Propagation): thay thế tổng tích lũy bằng trung bình động hàm mũ (Exponential Moving Average - EMA) của bình phương gradient:
vt = α vt-1 + (1 - α) gt2 θt = θt-1 - η√(vt + ε) ⊙ gt
trong đó:
- α: hệ số suy giảm (decay rate / smoothing constant, thường là 0.9 hoặc 0.99).
- vt: ước lượng phương sai cục bộ của gradient trong khoảng thời gian gần đây nhất.
Hãy cài đặt lớp RMSpropOptimizer:
__init__(self, params: dict[str, np.ndarray], lr: float = 0.01, alpha: float = 0.99, eps: float = 1e-8)step(self, grads: dict[str, np.ndarray]) -> Noneget_ema_variance(self, key: str) -> np.ndarray: trả về bản sao mảng vt của tham sốkey.
Input
- Lớp
RMSpropOptimizer(params,lr,alpha,eps): Khởi tạo đối tượng với các tham số, trọng số hoặc cấu hình tương ứng.
Output
- Các phương thức của
RMSpropOptimizer: Trả về kết quả tính toán hoặc cập nhật trạng thái nội bộ của đối tượng.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
w = np.array([1.0], dtype=np.float64)
params = {'w': w}
opt = RMSpropOptimizer(params, lr=0.1, alpha=0.9, eps=1e-08)
opt.step({'w': np.array([2.0])})Output
{
'w': [0.4544]
}Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
w = np.array([10.0])
params = {'w': w}
opt = RMSpropOptimizer(params, lr=0.01, alpha=0.9, eps=1e-08)
for _ in range(100):
opt.step({'w': np.array([3.0])})Output
{
'w': [8.9086]
}Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.