Bộ tối ưu hóa thích nghi AdaGrad (Adaptive Subgradient Methods) từ đầu bằng NumPy
AdaGrad (Duchi et al., 2011) là thuật toán tối ưu hóa tiên phong đặt nền móng cho học thích nghi (Adaptive Learning Rate). Thay vì dùng một learning rate đồng nhất cho mọi tham số,…
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: vanilla-sgd-learning-rate-schedule, matrix-gradient-descent-linear-regression.
Nội dung đề bài
Mô tả bài toán
AdaGrad (Duchi et al., 2011) là thuật toán tối ưu hóa tiên phong đặt nền móng cho học thích nghi (Adaptive Learning Rate). Thay vì dùng một learning rate đồng nhất cho mọi tham số, AdaGrad điều chỉnh learning rate riêng cho từng tọa độ dựa trên tổng bình phương gradient lịch sử:
Gt = Gt-1 + gt2 θt = θt-1 - η√(Gt + ε) ⊙ gt
trong đó:
- Gt: bộ tích lũy bình phương gradient (gradient accumulator), khởi tạo bằng 0 hoặc
initial_accumulator_value. - ε: hằng số làm mịn số học (thường là 10-8) tránh chia cho 0.
Hãy cài đặt lớp AdaGradOptimizer:
__init__(self, params: dict[str, np.ndarray], lr: float = 0.01, eps: float = 1e-8, initial_accumulator_value: float = 0.0)step(self, grads: dict[str, np.ndarray]) -> None: cập nhật tham số theo công thức AdaGrad.get_accumulator(self, key: str) -> np.ndarray: trả về bản sao mảng tích lũy G của tham sốkey.
Input
- Lớp
AdaGradOptimizer(params,lr,eps,initial_accumulator_value): Khởi tạo đối tượng với các tham số, trọng số hoặc cấu hình tương ứng.
Output
- Các phương thức của
AdaGradOptimizer: Trả về kết quả tính toán hoặc cập nhật trạng thái nội bộ của đối tượng.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
w = np.array([2.0, 4.0], dtype=np.float64)
params = {'w': w}
opt = AdaGradOptimizer(params, lr=1.0, eps=0.0)
opt.step({'w': np.array([3.0, 4.0])})Output
{
'w': [0.2929, 2.2929]
}Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
w = np.array([0.0])
params = {'w': w}
opt = AdaGradOptimizer(params, lr=1.0, eps=1e-08)
for _ in range(100):
opt.step({'w': np.array([1.0])})
acc = opt.get_accumulator('w')[0]Output
100Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.