Độ đo căn chỉnh xác suất ECE và Temperature Scaling (Model Calibration)
Trong mạng nơ-ron hiện đại, mô hình thường quá tự tin (overconfident): một dự đoán với độ tin cậy 90\% chỉ có độ chính xác thực tế 60\%.
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: softmax-temperature-sampling.
Nội dung đề bài
Mô tả bài toán
Trong mạng nơ-ron hiện đại, mô hình thường quá tự tin (overconfident): một dự đoán với độ tin cậy 90% chỉ có độ chính xác thực tế 60%.
- Expected Calibration Error (ECE): Chia N mẫu thành M khoảng tin cậy (bins B1, …, BM):
ECE = ∑m=1M |Bm|N | acc(Bm) - conf(Bm) | trong đó conf(Bm) là độ tin cậy trung bình của các dự đoán trong bin m, và acc(Bm) là độ chính xác thực tế.
- Temperature Scaling: Tìm tham số nhiệt độ T > 0 để chia lại logits: pi = softmax(zi / T) sao cho xác suất phản ánh chân thực độ chính xác.
Hãy viết hàm compute_ece(probs: np.ndarray, labels: np.ndarray, num_bins: int = 10) -> float:
probs: ma trận xác suất Softmax (N, C).labels: mảng 1D (N,) chứa nhãn đúng nguyên dương 0 ≤ yi < C.num_bins: số lượng bins đều trên đoạn [0, 1] (mặc định 10).- Trả về giá trị vô hướng ECE dạng float ∈ [0, 1].
Input
- Hàm
compute_ece(probs,labels,num_bins): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
compute_ece: Trả về kết quả kiểufloattheo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
confs = np.full((100, 2), 0.2)
confs[:, 1] = 0.8
labels = np.zeros(100, dtype=int)
labels[:80] = 1
ece = compute_ece(confs, labels, num_bins=10)Output
0Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
probs = np.zeros((100, 2))
probs[:, 0] = 1.0
labels = np.ones(100, dtype=int)
ece = compute_ece(probs, labels, num_bins=10)Output
1Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.