Kỹ thuật kẹp Gradient theo chuẩn L2 chống nổ Gradient (Gradient Clipping by Norm)
Trong huấn luyện RNN và LLM, khi chuỗi ngữ cảnh dài, tích các ma trận trọng số trong lan truyền ngược có thể khiến gradient tăng theo cấp số nhân thành hàng triệu (Exploding Gradie…
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: vanishing-gradient-deep-sigmoid-mlp.
Nội dung đề bài
Mô tả bài toán
Trong huấn luyện RNN và LLM, khi chuỗi ngữ cảnh dài, tích các ma trận trọng số trong lan truyền ngược có thể khiến gradient tăng theo cấp số nhân thành hàng triệu (Exploding Gradient), phá hủy toàn bộ trọng số mô hình. Kỹ thuật Gradient Clipping by Global Norm (Pascanu et al., 2013, torch.nn.utils.clip_grad_norm_) bảo toàn chính xác hướng của vector gradient nhưng co ngắn độ dài nếu vượt quá ngưỡng:
- Tính chuẩn toàn cục (Global L2 Norm) trên toàn bộ danh sách các tensor gradient:
|G|2 = √(∑i |gi|22)
- Nếu |G|2 > max_norm, co tất cả các gradient theo hệ số tỷ lệ:
gi ← gi × max_norm|G|2 + ε (với ε = 10-6 để chống chia cho 0).
- Nếu |G|2 ≤ max_norm, giữ nguyên toàn bộ gradient.
Hãy viết hàm clip_grad_norm(gradients: list[np.ndarray], max_norm: float = 1.0) -> tuple[list[np.ndarray], float]:
gradients: danh sách các mảng NumPy bất kỳ shape.max_norm: số thực dương giới hạn độ dài gradient.- Trả về tuple
(clipped_gradients, total_norm): clipped_gradients: danh sách các mảng NumPy cùng shape đã được kẹp độ dài.total_norm: chuẩn L2 toàn cục ban đầu TRƯỚC KHI kẹp dạng float.
Input
- Hàm
clip_grad_norm(gradients,max_norm): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
clip_grad_norm: Trả về kết quả kiểuTuple[List[np.ndarray], float]theo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
g1 = np.array([3.0])
g2 = np.array([4.0])
clipped, total_norm = clip_grad_norm([g1, g2], max_norm=1.0)
new_norm = np.sqrt(np.sum(clipped[0] ** 2) + np.sum(clipped[1] ** 2))Output
1Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
g = np.array([0.2, -0.3])
clipped, total_norm = clip_grad_norm([g], max_norm=1.0)Output
([array([ 0.2, -0.3])], 0.360555)Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.