ai-132Đọc toàn bộ đề miễn phí
Huấn Luyện Phân Tán – Data Parallelism Và Gradient Accumulation
1. Chia effective_batch_size thành accumulation_steps mini-batches
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: gradient-descent-optimizer.
Nội dung đề bài
Mục tiêu kiến thức
Gradient Accumulation cho phép train với batch lớn hơn bộ nhớ GPU cho phép bằng cách:
- Chia
effective_batch_sizethànhaccumulation_stepsmini-batches - Forward + backward cho mỗi mini-batch, cộng dồn gradient
- Scale loss:
loss = loss / accumulation_steps(để gradient trung bình đúng) - Optimizer step chỉ thực hiện sau
accumulation_stepsbước
Yêu cầu
def gradient_accumulation_step(
model: nn.Module,
optimizer: torch.optim.Optimizer,
batches: list[tuple], # list of (x, y) tuples
loss_fn,
accumulation_steps: int
) -> float:
# Train model on batches with gradient accumulation
# Returns average loss over all batches
passInput
- Hàm
gradient_accumulation_step(model,optimizer,batches,loss_fn,accumulation_steps): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
gradient_accumulation_step: Trả về kết quả kiểufloattheo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 5000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
model = nn.Linear(4, 2)
optim = torch.optim.SGD(model.parameters(), lr=0.01)
batches = [(torch.randn(2, 4), torch.randint(0, 2, (2,))) for _ in range(4)]
loss = gradient_accumulation_step(model, optim, batches, nn.CrossEntropyLoss(), accumulation_steps=2)Output
0.732462Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
torch.manual_seed(42)
model = nn.Linear(4, 2)
optim = torch.optim.SGD(model.parameters(), lr=0.1)
batches = [(torch.randn(2, 4), torch.randint(0, 2, (2,))) for _ in range(4)]
gradient_accumulation_step(model, optim, batches, nn.CrossEntropyLoss(), accumulation_steps=2)Output
(SGD (
Parameter Group 0
dampening: 0
differentiable: False
foreach: None
fused: None
lr: 0.1
maximize: False
momentum: 0
nesterov: False
weight_decay: 0
), [(tensor([[-2.4661, 0.3623, 0.3765, -0.1808],
[ 0.3930, 0.4327, -1.3627, 1.3564]]), tensor([1, 1])), (tensor([[-0.9890, 0.9580, 1.3221, 0.8172],
[-0.7658, -0.7506, 1.3525, 0.6863]]), tensor([1, 1])), (tensor([[-0.0915, 0.235... (truncated))Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
3 cấp độ gợi ýMở dần khi bạn thật sự cần hỗ trợ.
Phân tích lời giảiGiải thích hướng tư duy và thuật toán.
Code tham khảoDùng để đối chiếu sau khi tự làm.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.