Khởi tạo trọng số He/Kaiming cho mạng nơ-ron ReLU (He Initialization)
Năm 2015, Kaiming He (tác giả ResNet) chỉ ra rằng khởi tạo Xavier thất bại trên mạng dùng ReLU: vì ReLU triệt tiêu hoàn toàn một nửa miền âm (x < 0 ⇒ y = 0), phương sai của…
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: xavier-glorot-initialization-variance.
Nội dung đề bài
Mô tả bài toán
Năm 2015, Kaiming He (tác giả ResNet) chỉ ra rằng khởi tạo Xavier thất bại trên mạng dùng ReLU: vì ReLU triệt tiêu hoàn toàn một nửa miền âm (x < 0 ⇒ y = 0), phương sai của tín hiệu bị giảm một nửa sau mỗi tầng, dẫn đến tín hiệu bị tiêu biến sau vài tầng sâu. Để bù đắp năng lượng đã mất, phương sai trọng số cần được gấp đôi: Var(W) = 2nin Khởi tạo He/Kaiming:
- He Normal: W ∼ N(0, σ2) với σ = √(2nin).
- He Uniform: W ∼ U(-a, a) với a = √(6nin).
Hãy viết hàm kaiming_init(shape: tuple[int, int], mode: str = "fan_in", distribution: str = "normal", seed: int = 42) -> np.ndarray:
mode:"fan_in"(dùng nin cho forward) hoặc"fan_out"(dùng nout cho backward).distribution:"normal"hoặc"uniform".- Trả về mảng NumPy 2D kiểu
np.float64.
Input
- Hàm
kaiming_init(shape,mode,distribution,seed): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
kaiming_init: Trả về kết quả kiểunp.ndarraytheo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
nin, nout = (1000, 500)
W = kaiming_init((nin, nout), mode='fan_in', distribution='normal', seed=42)Output
[[ 0.0222, -0.0062, 0.029 , ..., -0.0085, -0.0392, -0.0618],
[ 0.0414, 0.0854, -0.0625, ..., 0.0287, -0.0255, 0.0256],
[ 0.0626, 0.0414, 0.0027, ..., 0.054 , 0.0458, 0.0265],
...,
[-0.0211, 0.0407, 0.1198, ..., -0.0401, -0.0361, 0.0819],
[ 0.0036, -0.0344, 0.0234, ..., 0.0068, 0.0357, 0.0362],
[ 0.0258, 0.004 , -0.0295, ..., -0.0109, -0.0357, -0.0734]]Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
nin, nout = (400, 800)
W = kaiming_init((nin, nout), mode='fan_out', distribution='normal', seed=99)Output
[[-0.0071, 0.1029, 0.0142, ..., -0.0638, -0.1093, 0.0097],
[-0.0381, -0.0686, -0.0157, ..., -0.0737, -0.0474, 0.0235],
[-0.0193, -0.0647, 0.0377, ..., 0.0368, 0.0176, -0.0057],
...,
[-0.0683, 0.0238, -0.0285, ..., -0.058 , 0.0204, 0.0794],
[-0.0064, -0.0249, -0.1004, ..., -0.0438, -0.0117, -0.0203],
[ 0.0048, -0.0383, -0.0069, ..., -0.0452, -0.0524, 0.0155]]Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.