ReLU, sigmoid và softmax

Mục tiêu kiến thức

Nhận ra mỗi activation có vai trò khác nhau: lọc âm, nén xác suất, hoặc chuẩn hóa logits.

Mô tả bài toán

Đây là bài số 381 trong tầng PyTorch deep learning thực hành. Bài dùng thư viện torch.relu, torch.sigmoid, torch.softmax trên dữ liệu nhỏ, cố định và chạy CPU; mục tiêu là hiểu workflow chứ không bắt học viên tự viết lại thư viện.

Yêu cầu

Áp dụng ReLU, sigmoid và softmax trên vector values; trả các vector và tổng softmax.

def activation_summary(values):

Ràng buộc

Softmax theo chiều vector dim=0 và tổng phải gần 1.