Đường cao tốc Gradient của kết nối tắt Residual (ResNet Highway)
Phát minh vĩ đại của Kaiming He trong kiến trúc ResNet và Vaswani trong Transformer là khối kết nối tắt Residual Connection (Skip Connection):
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: vanishing-gradient-deep-sigmoid-mlp, linear-layer-forward-backward-numpy.
Nội dung đề bài
Mô tả bài toán
Phát minh vĩ đại của Kaiming He trong kiến trúc ResNet và Vaswani trong Transformer là khối kết nối tắt Residual Connection (Skip Connection): y = F(x) + x trong đó F(x) là khối biến đổi phi tuyến (như Multi-Head Attention hoặc MLP Block). Khi lan truyền ngược, quy tắc đạo hàm mang tính cách mạng: ∂ L∂ x = ∂ L∂ y ∂ F∂ x + ∂ L∂ y = ∂ L∂ y ( ∂ F∂ x + I ) Thành phần + ∂ L∂ y hoạt động như một "đường cao tốc không vật cản" (Gradient Highway): ngay cả khi khối F(x) có đạo hàm bị triệt tiêu về 0 (∂ F∂ x ≈ 0), tín hiệu gradient từ tầng trên cùng vẫn chảy thẳng về các tầng dưới với độ lớn 100%!
Hãy viết hàm residual_block_forward_backward(x: np.ndarray, W: np.ndarray, dY: np.ndarray) -> tuple[np.ndarray, np.ndarray, np.ndarray]:
- Khối biến đổi F(x) = ReLU(x W) với x ∈ RB × D, W ∈ RD × D.
- Đầu ra kết nối tắt: y = F(x) + x ∈ RB × D.
- Nhận upstream gradient dY = ∂ L∂ y ∈ RB × D.
- Tính và trả về tuple
(y, dX, dW): - y: tensor đầu ra forward.
- dX = ∂ L∂ x = dF WT + dY (với dF = dY ⊙ Ix W > 0).
- dW = xT dF.
Input
- Hàm
residual_block_forward_backward(x,W,dY): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
residual_block_forward_backward: Trả về kết quả kiểuTuple[np.ndarray, np.ndarray, np.ndarray]theo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
B, D = (2, 3)
x = np.random.randn(B, D)
W = np.zeros((D, D))
dY = np.array([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])
y, dX, dW = residual_block_forward_backward(x, W, dY)Output
([[ 0.286 , -0.849 , 1.4654],
[-1.7956, -1.2292, -2.2995]], [[1., 2., 3.],
[4., 5., 6.]], [[0., 0., 0.],
[0., 0., 0.],
[0., 0., 0.]])Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
B, D = (2, 2)
x = np.random.randn(B, D)
W = np.random.randn(D, D)
dY = np.random.randn(B, D)
y, dX, dW = residual_block_forward_backward(x, W, dY)
h = 1e-06
x_plus = x.copy()
y_plus, _, _ = residual_block_forward_backward(x_plus, W, dY)
x_minus = x.copy()
y_minus, _, _ = residual_block_forward_backward(x_minus, W, dY)
num_dx = (np.sum(y_plus * dY) - np.sum(y_minus * dY)) / (2 * h)Output
0Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.