Phát Hiện Data Drift – Population Stability Index (PSI)
PSI = ∑i (Pi - Qi) · lnPiQi
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: kullback-leibler-divergence-penalty-rlhf.
Nội dung đề bài
Mục tiêu kiến thức
PSI đo mức độ thay đổi phân phối của feature giữa training và production: PSI = ∑i (Pi - Qi) · lnPiQi
Trong đó:
- Pi: tỷ lệ mẫu trong bucket i của tập reference (train)
- Qi: tỷ lệ mẫu trong bucket i của tập current (prod)
- Buckets: chia theo quantile của reference distribution
Ngưỡng giải thích: PSI < 0.1 (ổn định), 0.1–0.25 (thay đổi nhẹ), > 0.25 (thay đổi lớn)
Yêu cầu
def compute_psi(
reference: np.ndarray,
current: np.ndarray,
num_buckets: int = 10
) -> float:
# Returns PSI score
pass
def interpret_psi(psi_score: float) -> str:
# Returns "stable", "minor_drift", or "major_drift"
passInput
- Hàm
compute_psi(reference,current,num_buckets): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng. - Hàm
interpret_psi(psi_score): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
compute_psi: Trả về kết quả kiểufloattheo đúng đặc tả kỹ thuật và kích thước quy định. - Hàm
interpret_psi: Trả về kết quả kiểustrtheo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 2000ms.
- Giới hạn bộ nhớ: 256MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
np.random.seed(42)
data = np.random.normal(0, 1, 1000)
psi = compute_psi(data[:500], data[500:])Output
0.018778Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
np.random.seed(0)
ref = np.random.normal(0, 1, 1000)
cur = np.random.normal(5, 1, 1000)
psi = compute_psi(ref, cur)Output
12.433856Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.