Cài Đặt Tế Bào Cổng Hồi Quy (GRU Cell - Cho et al.) Tối Giản Hóa

Mục tiêu kiến thức

• GRU (Cho et al., 2014) tinh gọn kiến trúc LSTM bằng cách:
• Gộp c_t và h_t thành một vector trạng thái ẩn h_t duy nhất.
• Giảm từ 3 cổng xuống chỉ còn 2 cổng: Cổng Cập nhật (Update Gate z_t) và Cổng Đặt lại (Reset Gate r_t).
• Công thức tính toán:
• Cổng cập nhật: z_t = σ(x_t W_z + h_t-1 U_z + b_z)
• Cổng đặt lại: r_t = σ(x_t W_r + h_t-1 U_r + b_r)
• Ứng viên trạng thái mới: h_t = tanh(x_t W_h + (r_t ⊙ h_t-1) U_h + b_h)
• Cập nhật trạng thái ẩn: h_t = (1 - z_t) ⊙ h_t + z_t ⊙ h_t-1 (hoặc ngược lại z_t ⊙ h + (1-z_t) ⊙ h).
• Ít hơn LSTM 25% tham số, huấn luyện nhanh hơn và ít bị quá khớp trên tập dữ liệu nhỏ.

Yêu cầu

Xây dựng lớp GRUCell:

class GRUCell:
    def __init__(self, input_dim: int, hidden_dim: int):
        pass

    def forward_step(self, x_t: np.ndarray, h_prev: np.ndarray) -> np.ndarray:
        pass

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.