Huấn Luyện Độ Chính Xác Hỗn Hợp (Mixed Precision) – Dynamic Loss Scaling

Mục tiêu kiến thức

FP16 có range nhỏ hơn FP32, dễ bị underflow gradient. Loss scaling nhân loss với factor lớn S trước khi backward, sau đó chia gradient cho S.

Dynamic Loss Scaling:

• Nếu không có overflow (inf/nan trong gradients): tăng scale sau backoff_window bước: S ← S × 2
• Nếu có overflow: giảm scale ngay: S ← S / 2 và skip update

Yêu cầu

class DynamicLossScaler:
    def __init__(self, init_scale=2**16, growth_factor=2.0, backoff_factor=0.5, growth_interval=2000):
        pass
    def scale(self, loss: torch.Tensor) -> torch.Tensor:
        # Multiply loss by current scale
        pass
    def unscale_and_check(self, optimizer) -> bool:
        # Divide gradients by scale. Returns True if no inf/nan.
        pass
    def update(self, found_inf: bool):
        # Update scale based on whether overflow was found
        pass

Ràng buộc

• Thời gian chạy tối đa: 5000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.