Cơ chế tích lũy Gradient mô phỏng Batch kích thước lớn (Gradient Accumulation)
Trong huấn luyện LLM, một batch size hiệu dụng lý tưởng thường là 512 hoặc 1024 câu. Tuy nhiên, bộ nhớ VRAM của GPU chỉ đủ chứa một micro-batch nhỏ kích thước 4 hoặc 8.
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: mlp-two-layer-forward-backward-numpy.
Nội dung đề bài
Mô tả bài toán
Trong huấn luyện LLM, một batch size hiệu dụng lý tưởng thường là 512 hoặc 1024 câu. Tuy nhiên, bộ nhớ VRAM của GPU chỉ đủ chứa một micro-batch nhỏ kích thước 4 hoặc 8. Kỹ thuật Gradient Accumulation tích lũy gradient qua K micro-steps trước khi thực hiện bước cập nhật trọng số optimizer.step(): ∇ Weffective = 1K ∑k=1K ∇ Wmicro(k) Bằng cách chia gradient của mỗi micro-step cho K rồi cộng dồn accumulated_grad += grad / K, ta thu được chính xác kết quả toán học tương đương như khi nạp một batch lớn kích thước K × Bmicro!
Hãy viết hàm simulate_gradient_accumulation(micro_gradients: list[np.ndarray], accumulation_steps: int) -> np.ndarray:
micro_gradients: danh sách K mảng NumPy chứa gradient của từng micro-step (mỗi mảng cùng shape).accumulation_steps: số nguyên K = len(micro_gradients).- Tính và trả về gradient tích lũy trung bình 1K ∑ gk.
- Ném
ValueErrornếu K ≤ 0 hoặc độ dài danh sách không khớp.
Input
- Hàm
simulate_gradient_accumulation(micro_gradients,accumulation_steps): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
simulate_gradient_accumulation: Trả về kết quả kiểunp.ndarraytheo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
g1 = np.array([2.0, 4.0])
g2 = np.array([4.0, 6.0])
res = simulate_gradient_accumulation([g1, g2], accumulation_steps=2)Output
[3., 5.]Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
g = np.random.randn(3, 4)
res = simulate_gradient_accumulation([g], accumulation_steps=1)Output
[[ 0.7761, 0.5878, 0.5851, 0.1382],
[ 1.533 , 0.872 , -0.6071, -0.5892],
[-0.8797, 0.5513, -1.0001, 1.0834]]Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.