ai-010Đọc toàn bộ đề miễn phí

Cơ chế Vi phân Tự động Autograd và Đồ thị Tính toán trong PyTorch

Autograd là trái tim của mọi thuật toán học sâu. Mọi mô hình AI từ hồi quy tuyến tính đến Transformer đều sử dụng cơ chế này để cập nhật trọng số. Việc hiểu sai cách tích lũy gradi…

AITrung bình35 phút

Tiến độ của tôi ở bài này

Điểm được lưu vào tài khoản sau khi chấm bài.

Đang tải điểm của bạn…

Kiến thức và chủ đề

pytorchautogradcomputational-graphbackwardgradients

Kiến thức tiên quyết: pytorch-tensor-basics-cpu.

Nội dung đề bài

Mục tiêu kiến thức

  • Hiểu cách PyTorch xây dựng đồ thị tính toán có hướng (Directed Acyclic Graph - DAG) với requires_grad=True.
  • Nắm vững cơ chế lan truyền ngược (Backpropagation) qua lệnh .backward().
  • Truy xuất đạo hàm riêng ∂ L∂ x qua thuộc tính x.grad.
  • Đối chiếu đạo hàm của Autograd với công thức đạo hàm giải tích (Chain Rule).

Mô tả bài toán

Autograd là trái tim của mọi thuật toán học sâu. Mọi mô hình AI từ hồi quy tuyến tính đến Transformer đều sử dụng cơ chế này để cập nhật trọng số. Việc hiểu sai cách tích lũy gradient (gradient accumulation) hoặc vô tình ngắt đồ thị tính toán (.detach()) là nguyên nhân hàng đầu khiến mô hình không học được.

Yêu cầu

Cho đa thức bậc 3 có dạng: P(x) = c0 + c1 x + c2 x2 + c3 x3 và hàm mất mát bình phương sai số: L(x) = (P(x) - ytarget)2

Viết hàm compute_polynomial_loss_and_grad(x_val: float, coeffs: list[float], target_y: float) -> tuple[float, float, float]:

  • Kiểm tra danh sách hệ số coeffs = [c0, c1, c2, c3] phải có đúng 4 phần tử. Nếu không, ném ra ngoại lệ ValueError.
  • Khởi tạo một leaf tensor: x = torch.tensor(float(x_val), dtype=torch.float32, requires_grad=True, device='cpu').
  • Tính giá trị dự đoán y = P(x) bằng các phép toán tensor:

y = c0 + c1 x + c2 x2 + c3 x3

  • Tính hàm mất mát: L = (y - ytarget)2.
  • Gọi loss.backward() để Autograd tự động tính đạo hàm theo quy tắc dây chuyền:

∂ L∂ x = 2 (y - ytarget) · (c1 + 2 c2 x + 3 c3 x2)

  • Trích xuất giá trị đạo hàm: grad_val = x.grad.item().
  • Trả về tuple 3 giá trị kiểu float tiêu chuẩn: (float(y_hat.item()), float(loss.item()), float(grad_val)).
import torch

def compute_polynomial_loss_and_grad(x_val: float, coeffs: list[float], target_y: float) -> tuple[float, float, float]:
    pass

Input

  • Hàm compute_polynomial_loss_and_grad(x_val, coeffs, target_y): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.

Output

  • Hàm compute_polynomial_loss_and_grad: Trả về kết quả kiểu tuple[float, float, float] theo đúng đặc tả kỹ thuật và kích thước quy định.

Ràng buộc

  • Thời gian chạy tối đa: 2000ms.
  • Giới hạn bộ nhớ: 256MB.
  • Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.

Ví dụ 1

Input

coeffs = [2.0, 3.0, 0.0, 0.0]
y_hat, loss, grad = compute_polynomial_loss_and_grad(x_val=2.0, coeffs=coeffs, target_y=10.0)

Output

(8, 4, -12)

Giải thích

Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.

Ví dụ 2

Input

coeffs = [1.0, 1.0, 1.0, 1.0]
y_hat, loss, grad = compute_polynomial_loss_and_grad(x_val=1.0, coeffs=coeffs, target_y=4.0)

Output

(4, 0, 0)

Giải thích

Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.

3 cấp độ gợi ýMở dần khi bạn thật sự cần hỗ trợ.
Phân tích lời giảiGiải thích hướng tư duy và thuật toán.
Code tham khảoDùng để đối chiếu sau khi tự làm.

Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.

Ý tưởng chính & Kiến thức cốt lõi: Đồ thị tính toán & Đạo hàm tự động

Autograd tự động áp dụng quy tắc chuỗi (chain rule) để tính toán gradient của hàm mất mát đối với từng trọng số mô hình, nền tảng của thuật toán lan truyền ngược.

  • Đặt requires_grad=True trên lá của đồ thị tính toán.
  • Gọi .backward() từ một đại lượng vô hướng để tính đạo hàm riêng.
  • Nhớ reset .grad về 0 sau mỗi bước tối ưu bằng optimizer.zero_grad().

Góp ý & báo lỗi bài tập

Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.