Mô phỏng hiện tượng suy biến Gradient trên mạng Sigmoid sâu (Vanishing Gradient)

Mô tả bài toán

Trước khi hàm ReLU ra đời, hiện tượng Suy biến Gradient (Vanishing Gradient) là rào cản lớn nhất ngăn cản việc huấn luyện các mạng nơ-ron sâu. Nguyên nhân toán học: Đạo hàm của hàm Sigmoid σ'(z) = σ(z)(1 - σ(z)) có giá trị cực đại chỉ bằng 0.25 (tại z = 0). Khi gradient lan truyền ngược qua L tầng Sigmoid, theo quy tắc chuỗi nó phải nhân liên tiếp với các đạo hàm: ∂ L∂ W₁ ∝ ∏_l=1^L σ'(Z_l) W_l+1^T Vì mỗi thừa số σ'(z) ≤ 0.25, sau 10 tầng tín hiệu bị suy giảm ít nhất 0.25¹⁰ ≈ 10^-6 lần! Trọng số ở các tầng đầu tiên hầu như không nhận được tín hiệu học tập và dậm chân tại chỗ.

Hãy viết hàm simulate_vanishing_gradient(num_layers: int, dim: int = 10, seed: int = 42) -> tuple[list[float], float]:

• Khởi tạo một mạng gồm num_layers tầng tuyến tính (W_l ∼ N(0, 1)) liên tiếp xen kẽ hàm kích hoạt Sigmoid.
• Lan truyền forward một vector ngẫu nhiên x.
• Giả sử gradient tại tầng cuối cùng là dZ_L = 1.0.
• Lan truyền ngược qua từng tầng, tính chuẩn Frobenius của gradient trọng số tại mỗi tầng: |dW_l|_F.
• Trả về tuple (layer_grad_norms: list[float], ratio: float):
• layer_grad_norms: danh sách gồm num_layers số thực theo thứ tự từ tầng 1 đến tầng cuối cùng [|dW₁|_F, …, |dW_L|_F].
• ratio: tỷ lệ suy biến giữa tầng đầu và tầng cuối |dW₁|_F|dW_L|_F.

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.