Cắt Tỉa Trọng Số (Magnitude Pruning) – Unstructured Sparsity
Pruning loại bỏ các trọng số nhỏ nhất để tạo mô hình thưa. Unstructured pruning zeroing out từng weight riêng lẻ dựa trên biên độ (|weight|).
Tiến độ của tôi ở bài này
Điểm và code bạn nộp được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: linear-layer-and-mlp-foundations.
Nội dung đề bài
Mục tiêu kiến thức
Pruning loại bỏ các trọng số nhỏ nhất để tạo mô hình thưa. Unstructured pruning zeroing out từng weight riêng lẻ dựa trên biên độ (|weight|).
Quy trình:
- Tính threshold theta = percentile thứ sparsity_ratio * 100% của |weights|
- Tạo binary mask: Mij = 1 nếu |wij| > theta, ngược lại Mij = 0
- Áp dụng mask: wij' = wij · Mij
Yêu cầu
def magnitude_prune(weights: np.ndarray, sparsity_ratio: float) -> tuple[np.ndarray, np.ndarray]:
# Returns (pruned_weights, binary_mask)
# sparsity_ratio = 0.5 means 50% of weights zeroed
passInput
- Hàm magnitude_prune(weights, sparsity_ratio): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm magnitude_prune: Trả về kết quả kiểu Any theo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 2000ms.
- Giới hạn bộ nhớ: 256MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
weights = np.arange(1, 11, dtype=float)
pruned, mask = magnitude_prune(weights, sparsity_ratio=0.5)
actual_sparsity = (pruned == 0).sum() / len(pruned)
Output
0.5
Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
weights = np.random.randn(4, 4)
_, mask = magnitude_prune(weights, sparsity_ratio=0.3)
Output
([[ 0. , 0.6621, 1.586 , -1.2378],
[ 2.133 , -1.9521, -0. , 0.5883],
[ 0. , -0.6227, -0. , -0.493 ],
[-0.5894, 0.8496, 0. , -0.6929]], [[0., 1., 1., 1.],
[1., 1., 0., 1.],
[0., 1., 0., 1.],
[1., 1., 0., 1.]])
Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.
