Cố ý overfit một dataset rất nhỏ

Mục tiêu kiến thức

Dùng một dataset nhỏ để thấy model đủ capacity có thể nhớ train rất tốt.

Mô tả bài toán

Đây là bài số 392 trong tầng PyTorch deep learning thực hành. Bài dùng thư viện PyTorch MLP + Adam + BCEWithLogitsLoss trên dữ liệu nhỏ, cố định và chạy CPU; mục tiêu là hiểu workflow chứ không bắt học viên tự viết lại thư viện.

Yêu cầu

Tạo MLP binary và Adam, train toàn bộ tiny dataset nhiều epoch rồi báo loss và accuracy cuối trên chính dataset.

def overfit_tiny_dataset(X, y, epochs, learning_rate):

Ràng buộc

Đây là thí nghiệm cố ý overfit train, không được gọi đó là khả năng generalization.