Phân chia Dữ liệu Phân tầng Tất định chống Lệch Nhãn
Khi huấn luyện mô hình phát hiện gian lận hoặc chẩn đoán y tế, số ca gian lận chỉ chiếm 1% dữ liệu. Nếu chia ngẫu nhiên thông thường, tập test có thể hoàn toàn không chứa ca gian l…
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: python-basics.
Nội dung đề bài
Mục tiêu kiến thức
- Hiểu tầm quan trọng của phân tầng (Stratification): bảo đảm tỷ lệ phân phối của các nhãn lớp (class labels) giống hệt nhau trên cả 3 tập Train, Validation và Test.
- Tránh hiện tượng rỗng dữ liệu lớp hiếm (class starvation) trong các bài toán mất cân bằng dữ liệu (imbalanced datasets).
- Đảm bảo tính lặp lại tất định 100% nhờ hạt giống ngẫu nhiên
seed.
Mô tả bài toán
Khi huấn luyện mô hình phát hiện gian lận hoặc chẩn đoán y tế, số ca gian lận chỉ chiếm 1% dữ liệu. Nếu chia ngẫu nhiên thông thường, tập test có thể hoàn toàn không chứa ca gian lận nào, dẫn đến kết quả đánh giá vô nghĩa.
Yêu cầu
Viết hàm stratified_split(X: np.ndarray, y: np.ndarray, train_ratio: float = 0.7, val_ratio: float = 0.15, test_ratio: float = 0.15, seed: int = 42) -> dict[str, np.ndarray]:
- Kiểm tra:
- Tổng 3 tỷ lệ phải bằng 1.0: |train_ratio + val_ratio + test_ratio - 1.0| < 10-5.
- Độ dài của X và y phải bằng nhau (len(X) == len(y)).
- Nếu không thỏa mãn, ném ra ngoại lệ
ValueError. - Với mỗi nhãn lớp riêng biệt c ∈ unique(y):
- Lấy toàn bộ chỉ số (indices) của các mẫu có nhãn c.
- Xáo trộn (shuffle) các chỉ số này bằng một
np.random.RandomState(seed). - Chia các chỉ số thành 3 phần theo đúng tỷ lệ:
- Số mẫu train: Ntrain = round(Nc × train_ratio).
- Số mẫu val: Nval = round(Nc × val_ratio).
- Số mẫu test: còn lại để đảm bảo tổng số lượng không đổi.
- Gom toàn bộ chỉ số train, val, test từ tất cả các lớp.
- Xáo trộn lại các tập chỉ số cuối cùng để tránh gom cụm nhãn.
- Trả về dictionary gồm 6 mảng NumPy:
{"X_train": ..., "y_train": ..., "X_val": ..., "y_val": ..., "X_test": ..., "y_test": ...}.
Input
- Hàm
stratified_split(X,y,train_ratio,val_ratio,test_ratio,seed): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
stratified_split: Trả về kết quả kiểudict[str, np.ndarray]theo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 3000ms.
- Giới hạn bộ nhớ: 256MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
X = np.arange(200).reshape(100, 2)
y = np.array([0] * 80 + [1] * 20)
splits = stratified_split(X, y, train_ratio=0.7, val_ratio=0.15, test_ratio=0.15, seed=42)
total_samples = len(splits['y_train']) + len(splits['y_val']) + len(splits['y_test'])
class1_train_ratio = np.mean(splits['y_train'] == 1)
class1_test_ratio = np.mean(splits['y_test'] == 1)Output
0.2Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
X = np.ones((10, 2))
y = np.ones(10)Output
[1., 1., 1., 1., 1., 1., 1., 1., 1., 1.]Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.