Triển khai Lớp Batch Normalization 1D từ Gốc (Train vs Eval Mode)

Mục tiêu kiến thức

• Hiểu hiện tượng Internal Covariate Shift và vai trò của Batch Normalization.
• Thuật toán trong chế độ Huấn luyện (training=True):
• Tính kỳ vọng mini-batch: μ_B = 1N ∑_i=1^N x_i.
• Tính phương sai mini-batch: σ_B² = 1N ∑_i=1^N (x_i - μ_B)².
• Chuẩn hóa: x_i = x_i - μ_B√(σ_B² + ε).
• Scale và Shift: y_i = γ x_i + β (với γ khởi tạo bằng 1, β khởi tạo bằng 0).
• Cập nhật Running Statistics:

μ_run ← (1 - m) μ_run + m μ_B σ²_run ← (1 - m) σ²_run + m σ_B² (Trong đó m là momentum, mặc định 0.1).

• Thuật toán trong chế độ Đánh giá (training=False):

Sử dụng μ_run và σ²_run đã tích lũy: x_i = x_i - μ_run√(σ²_run + ε), y_i = γ x_i + β

Yêu cầu

Xây dựng lớp BatchNorm1dFromScratch:

class BatchNorm1dFromScratch:
    def __init__(self, num_features: int, eps: float = 1e-5, momentum: float = 0.1):
        pass

    def forward(self, X: np.ndarray, training: bool = True) -> np.ndarray:
        pass

Ràng buộc

• Thời gian chạy tối đa: 3000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.