Triển khai Lớp Layer Normalization từ Gốc (So sánh với Batch Norm)

Mục tiêu kiến thức

• Hiểu sự khác biệt cơ bản giữa BatchNorm và LayerNorm:
• BatchNorm: Chuẩn hóa qua toàn bộ các mẫu trong mini-batch cho từng đặc trưng riêng rẽ (phụ thuộc vào batch size).
• LayerNorm (chuẩn mực của Transformer & RNN): Chuẩn hóa qua toàn bộ các đặc trưng cho *từng mẫu riêng lẻ* (hoàn toàn độc lập với các mẫu khác trong batch).
• Công thức tính toán cho mỗi vector đặc trưng x ∈ R^D:

μ = 1D ∑_j=1^D x_j, σ² = 1D ∑_j=1^D (x_j - μ)² x = x - μ√(σ² + ε) y = γ ⊙ x + β Trong đó γ và β là các tham số học có kích thước (D,), khởi tạo lần lượt là 1 và 0.

• Lưu ý: LayerNorm hoạt động giống nhau ở cả chế độ Huấn luyện và Đánh giá, không cần lưu trữ running statistics!

Yêu cầu

Xây dựng lớp LayerNormFromScratch:

class LayerNormFromScratch:
    def __init__(self, normalized_shape: int, eps: float = 1e-5):
        pass

    def forward(self, X: np.ndarray) -> np.ndarray:
        pass

• Đầu vào X có thể có 2 chiều (N, D) hoặc 3 chiều (B, S, D). Phép chuẩn hóa luôn thực hiện trên trục cuối cùng (axis=-1).

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.