Khởi tạo trọng số Xavier/Glorot bảo toàn phương sai (Xavier Initialization)
Trong công trình đột phá năm 2010 của Xavier Glorot và Yoshua Bengio, nguyên nhân khiến mạng nơ-ron sâu không hội tụ được chứng minh là do phương sai tín hiệu bị thu hẹp hoặc bùng
Tiến độ của tôi ở bài này
Điểm và code bạn nộp được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: linear-layer-forward-backward-numpy.
Nội dung đề bài
Mô tả bài toán
Trong công trình đột phá năm 2010 của Xavier Glorot và Yoshua Bengio, nguyên nhân khiến mạng nơ-ron sâu không hội tụ được chứng minh là do phương sai tín hiệu bị thu hẹp hoặc bùng nổ qua từng tầng. Với hàm kích hoạt tuyến tính hoặc Tanh đối xứng quanh 0, điều kiện bảo toàn phương sai forward và backward là: Var(W) = 2n∈ + nout Từ đó sinh ra 2 phương pháp khởi tạo Xavier chuẩn:
- Xavier Uniform: Phân phối đều U(-a, a) với:
a = √(6n∈ + nout)
- Xavier Normal: Phân phối chuẩn N(0, sigma2) với:
sigma = √(2n∈ + nout)
Hãy viết hàm xavier_init(shape: tuple[int, int], mode: str = "uniform", seed: int = 42) -> np.ndarray:
- shape: tuple (n∈, nout).
- mode: "uniform" hoặc "normal".
- seed: seed sinh số ngẫu nhiên để tái lập kết quả.
- Trả về mảng NumPy 2D kích thước n∈ × nout với kiểu np.float64.
- Ném ValueError nếu mode không hợp lệ hoặc kích thước không hợp lệ.
Input
- Hàm xavier_init(shape, mode, seed): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm xavier_init: Trả về kết quả kiểu np.ndarray theo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
nin, nout = (500, 500)
W_unif = xavier_init((nin, nout), mode='uniform', seed=42)
W_norm = xavier_init((nin, nout), mode='normal', seed=42)
theoretical_var = 2.0 / (nin + nout)
Output
0.002
Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
nin, nout = (100, 200)
W = xavier_init((nin, nout), mode='uniform', seed=123)
limit = np.sqrt(6.0 / (nin + nout))
Output
0.141421
Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.
