Cài đặt toán tử trừu tượng Vector-Jacobian Product (VJP Operator)
Trong các thư viện vi phân hiện đại (như JAX, PyTorch torch.func.vjp), cốt lõi của tính toán đạo hàm tự động không phải là ma trận Jacobian mà là toán tử Vector-Jacobian Product (V…
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: jacobian-matrix-vector-valued-function, softmax-derivative-jacobian-vector-product.
Nội dung đề bài
Mô tả bài toán
Trong các thư viện vi phân hiện đại (như JAX, PyTorch torch.func.vjp), cốt lõi của tính toán đạo hàm tự động không phải là ma trận Jacobian mà là toán tử Vector-Jacobian Product (VJP): Một hàm f: X → Y khi thực thi forward trả về:
- Giá trị đầu ra y = f(x).
- Một hàm vi phân closure
vjp_fn(v): nhận vào vector gradient đầu ra v = ∂ L∂ y và tính trực tiếp tích JT v = ∂ L∂ x.
Hãy viết hàm make_vjp_linear(W: np.ndarray, b: np.ndarray):
- Nhận trọng số W (Din, Dout) và b (Dout,).
- Trả về một hàm closure
forward_with_vjp(X): - Khi gọi
y, vjp_fn = forward_with_vjp(X): - y = X W + b.
vjp_fn(v): nhận gradient v ∈ RB × Dout và trả về tuple(dX, dW, db)tương ứng.
Input
- Hàm
make_vjp_linear(W,b): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
make_vjp_linear: Trả về kết quả kiểuCallabletheo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
W = np.array([[1.0, 2.0], [3.0, 4.0]])
b = np.array([0.5, -0.5])
linear_layer = make_vjp_linear(W, b)
X = np.array([[1.0, 1.0]])
y, vjp_fn = linear_layer(X)
v = np.array([[1.0, 0.0]])
dX, dW, db = vjp_fn(v)Output
([[1., 3.]], [[1., 0.],
[1., 0.]], [1., 0.])Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
W = np.random.randn(3, 2)
b = np.random.randn(2)
layer = make_vjp_linear(W, b)
X1 = np.random.randn(2, 3)
y1, vjp1 = layer(X1)
X2 = np.random.randn(4, 3)
y2, vjp2 = layer(X2)
dX1, dW1, db1 = vjp1(np.ones_like(y1))
dX2, dW2, db2 = vjp2(np.ones_like(y2))Output
([[-2.8228, 0.7758, -0.5074],
[-2.8228, 0.7758, -0.5074],
[-2.8228, 0.7758, -0.5074],
[-2.8228, 0.7758, -0.5074]], [[-0.4978, -0.4978],
[ 0.403 , 0.403 ],
[ 0.535 , 0.535 ]], [4., 4.])Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.