Kiểm thử gradient số trị toàn diện cho Tầng Tuyến tính (Linear Layer Grad Check)
Để đảm bảo một module tầng mạng nơ-ron không chứa lỗi lập trình vi phân ngầm, ta phải thực hiện Gradient Checking toàn diện trên mọi tensor tham số (W, b) và đầu vào (X).
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: linear-layer-forward-backward-numpy, gradient-checking-relative-error.
Nội dung đề bài
Mô tả bài toán
Để đảm bảo một module tầng mạng nơ-ron không chứa lỗi lập trình vi phân ngầm, ta phải thực hiện Gradient Checking toàn diện trên mọi tensor tham số (W, b) và đầu vào (X).
Cho hàm mất mát vô hướng mô phỏng L = 12 |Y - Ytarget|F2 với Y = X W + b. Đạo hàm giải tích: ∂ L∂ Y = Y - Ytarget và các đạo hàm dX, dW, db được tính theo quy tắc chuỗi chuẩn.
Hãy viết hàm check_linear_layer_gradients(X, W, b, Y_target, h=1e-5) -> dict:
- Tính gradient giải tích:
dX_analytic, dW_analytic, db_analytic. - Tính gradient số trị bằng sai phân hữu hạn trung tâm đối với từng phần tử của X, W, b.
- Tính sai số tương đối CS231n cho từng tensor:
rel_error(A, N) = max |A - N|max(max |A| + max |N|, 10-8)
- Trả về dictionary:
{"error_X": float, "error_W": float, "error_b": float, "is_all_passed": bool} trong đó is_all_passed là True nếu cả 3 sai số đều < 10-5.
Input
- Hàm
check_linear_layer_gradients(X,W,b,Y_target,h): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
check_linear_layer_gradients: Trả về kết quả kiểudicttheo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
B, Din, Dout = (2, 3, 2)
X = np.random.randn(B, Din)
W = np.random.randn(Din, Dout)
b = np.random.randn(Dout)
Y_tgt = np.random.randn(B, Dout)
check_linear_layer_gradients(X, W, b, Y_tgt)Output
{
'error_X': 0,
'error_W': 0,
'error_b': 0,
'is_all_passed': True
}Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
B, Din, Dout = (1, 2, 2)
X = np.array([[1.5, -0.8]])
W = np.array([[0.5, -1.2], [1.0, 0.4]])
b = np.array([0.2, -0.1])
Y_tgt = np.array([[1.0, 0.0]])
check_linear_layer_gradients(X, W, b, Y_tgt, h=1e-06)Output
{
'error_X': 0,
'error_W': 0,
'error_b': 0,
'is_all_passed': True
}Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.