Tính đạo hàm hàm kích hoạt phi tuyến (Sigmoid, Tanh, ReLU, GELU)

Mô tả bài toán

Trong mạng nơ-ron, hàm kích hoạt phi tuyến cho phép mạng xấp xỉ các hàm số phức tạp. Khi thực hiện Backpropagation, ta cần tính đạo hàm giải tích của từng hàm kích hoạt:

• Sigmoid: σ(x) = 11 + e^-x ⇒ σ'(x) = σ(x)(1 - σ(x))
• Tanh: tanh(x) = e^x - e^-xe^x + e^-x ⇒ tanh'(x) = 1 - tanh²(x)
• ReLU: ReLU(x) = max(0, x) ⇒ ReLU'(x) = 1 & khi x > 0
  0 & khi x ≤ 0
• GELU (Gaussian Error Linear Unit) xấp xỉ dùng trong Transformer/BERT/GPT:

GELU(x) ≈ 0.5 x (1 + tanh(√(2π) (x + 0.044715 x³)))

Hãy viết hàm activation_derivatives(x: np.ndarray, name: str) -> np.ndarray:

• Nhận vào mảng NumPy x (bất kỳ số chiều nào) và tên hàm name thuộc {'sigmoid', 'tanh', 'relu', 'gelu'}.
• Trả về mảng NumPy cùng shape với kiểu np.float64 chứa đạo hàm tại từng phần tử.
• Ném ValueError nếu name không hợp lệ.

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.