Cài Đặt Tế Bào Mạng Nơ-ron Hồi Quy (Vanilla RNN Cell) Từ Gốc

Mục tiêu kiến thức

• Hiểu nguyên lý hoạt động của tế bào RNN truyền thống (Elman RNN):

Tại mỗi bước thời gian t, tế bào nhận vector đầu vào x_t ∈ R^{B × D_in} và vector trạng thái ẩn trước đó h_t-1 ∈ R^{B × D_hidden}.

• Công thức cập nhật trạng thái ẩn:

h_t = tanh(x_t W_ih + h_t-1 W_hh + b_h) Trong đó:

• W_ih ∈ R^{D_in × D_hidden}: Ma trận trọng số đầu vào.
• W_hh ∈ R^{D_hidden × D_hidden}: Ma trận trọng số hồi quy.
• b_h ∈ R^D_hidden: Vector bias.
• tanh: Hàm kích hoạt phi tuyến tính nén giá trị vào khoảng (-1, 1).

Yêu cầu

Xây dựng lớp VanillaRNNCell:

class VanillaRNNCell:
    def __init__(self, input_dim: int, hidden_dim: int):
        pass

    def forward_step(self, x_t: np.ndarray, h_prev: np.ndarray) -> np.ndarray:
        pass

    def forward_sequence(self, x_seq: np.ndarray, h_0: np.ndarray | None = None) -> tuple[np.ndarray, np.ndarray]:
        pass

• forward_step(x_t, h_prev):
• x_t: Shape (B, input_dim).
• h_prev: Shape (B, hidden_dim).
• Trả về h_t shape (B, hidden_dim).
• forward_sequence(x_seq, h_0):
• x_seq: Chuỗi đầu vào shape (B, seq_len, input_dim).
• h_0: Trạng thái ban đầu shape (B, hidden_dim) (nếu None, khởi tạo toàn số 0).
• Trả về tuple (h_seq, h_last) trong đó h_seq có shape (B, seq_len, hidden_dim) và h_last là h_seq[:, -1, :].

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.