Multi-Layer Perceptron (MLP) Forward & Backward Thủ công bằng NumPy

Mục tiêu kiến thức

• Hiểu sâu sắc thuật toán Lan truyền ngược (Backpropagation) dựa trên Quy tắc chuỗi (Chain Rule).
• Nắm vững kiến trúc mạng MLP 2 tầng: Input (D) -> Hidden (H) -> Output (C).
• Cài đặt forward pass:
• Tuyến tính tầng 1: Z₁ = X W₁ + b₁ (với X ∈ R^{N × D}, W₁ ∈ R^{D × H}, b₁ ∈ R^H).
• Kích hoạt phi tuyến ReLU: A₁ = max(0, Z₁).
• Tuyến tính tầng 2: Z₂ = A₁ W₂ + b₂ (với W₂ ∈ R^{H × C}, b₂ ∈ R^C).
• Softmax xác suất: P_ic = exp(Z_2,ic - max_k Z_2,ik)∑_j exp(Z_2,ij - max_k Z_2,ik).
• Cross-Entropy Loss: L = -1N ∑_i=1^N ∑_c=1^C Y_ic ln(P_ic + 10^-15).
• Cài đặt backward pass (tính đạo hàm giải tích):
• ∂ L∂ Z₂ = dZ₂ = 1N (P - Y) ∈ R^{N × C}.
• ∂ L∂ W₂ = dW₂ = A₁^T dZ₂ ∈ R^{H × C}.
• ∂ L∂ b₂ = db₂ = ∑_i=1^N dZ_{2, i} ∈ R^C.
• ∂ L∂ A₁ = dA₁ = dZ₂ W₂^T ∈ R^{N × H}.
• ∂ L∂ Z₁ = dZ₁ = dA₁ ⊙ I(Z₁ > 0) ∈ R^{N × H}.
• ∂ L∂ W₁ = dW₁ = X^T dZ₁ ∈ R^{D × H}.
• ∂ L∂ b₁ = db₁ = ∑_i=1^N dZ_{1, i} ∈ R^H.

Yêu cầu

Viết hàm mlp_forward_backward(X: np.ndarray, y_onehot: np.ndarray, W1: np.ndarray, b1: np.ndarray, W2: np.ndarray, b2: np.ndarray, lr: float = 0.01) -> dict[str, Any]:

• Thực hiện forward pass tính loss theo công thức trên.
• Thực hiện backward pass tính đầy đủ các ma trận gradient: dW1, db1, dW2, db2.
• Cập nhật trọng số theo Gradient Descent: W₁ ← W₁ - lr · dW₁, tương tự với b₁, W₂, b₂.
• Trả về dictionary:

   {
       "loss": float,
       "W1": np.ndarray,
       "b1": np.ndarray,
       "W2": np.ndarray,
       "b2": np.ndarray,
       "grads": {
           "dW1": np.ndarray,
           "db1": np.ndarray,
           "dW2": np.ndarray,
           "db2": np.ndarray
       }
   }

import numpy as np
from typing import Any

def mlp_forward_backward(X: np.ndarray, y_onehot: np.ndarray, W1: np.ndarray, b1: np.ndarray, W2: np.ndarray, b2: np.ndarray, lr: float = 0.01) -> dict[str, Any]:
    pass

Ràng buộc

• Thời gian chạy tối đa: 3000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.