ai-024Đọc toàn bộ đề miễn phí

Xây dựng Custom Dataset & Dynamic Collate Function cho PyTorch DataLoader

1. Xây dựng lớp TextSequenceDataset(torch.utils.data.Dataset):

AITrung bình35 phút

Tiến độ của tôi ở bài này

Điểm được lưu vào tài khoản sau khi chấm bài.

Đang tải điểm của bạn…

Kiến thức và chủ đề

deep-learningpytorchdatasetdataloadercollate-fnpaddingattention-mask

Kiến thức tiên quyết: pytorch-tensor-basics-cpu.

Nội dung đề bài3 cấp độ gợi ýPhân tích lời giảiCode tham khảo

Nội dung đề bài

Mục tiêu kiến thức

Kế thừa lớp torch.utils.data.Dataset và override __len__ và __getitem__.
Xây dựng hàm gom nhóm tùy biến (collate_fn) để đệm (pad) động các chuỗi có độ dài khác nhau về cùng độ dài lớn nhất trong từng mini-batch (Dynamic Padding).
Tạo mặt nạ chú ý (attention_mask) chuẩn: giá trị $1$ ở vị trí token thực và $0$ ở vị trí token đệm.

Yêu cầu

Xây dựng lớp TextSequenceDataset(torch.utils.data.Dataset):
__init__(self, sequences: list[list[int]]): Lưu danh sách các chuỗi số nguyên.
__len__(self): Trả về số lượng chuỗi.
__getitem__(self, idx: int) -> torch.Tensor: Trả về tensor 1D kiểu torch.long.
Xây dựng hàm pad_collate_fn(batch: list[torch.Tensor], pad_value: int = 0) -> dict[str, torch.Tensor]:
Xác định độ dài lớn nhất trong batch: $L max = max (len (seq) for seq \in batch)$ .
Tạo tensor input_ids shape $(B, L max)$ điền sẵn pad_value.
Tạo tensor attention_mask shape $(B, L max)$ với giá trị $1$ ở token thực tế, $0$ ở token đệm (kiểu torch.long).
Tạo tensor lengths shape $(B,)$ chứa độ dài thực tế của từng chuỗi (kiểu torch.long).
Trả về dictionary: {"input_ids": input_ids, "attention_mask": attention_mask, "lengths": lengths}.

Input

Hàm pad_collate_fn(batch, pad_value): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.

Output

Hàm pad_collate_fn: Trả về kết quả kiểu dict[str, torch.Tensor] theo đúng đặc tả kỹ thuật và kích thước quy định.

Ràng buộc

Thời gian chạy tối đa: 3000ms.
Giới hạn bộ nhớ: 512MB.
Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.

Ví dụ 1

Input

data = [[101, 2054, 102], [101, 7592, 2026, 102], [101, 102]]
ds = TextSequenceDataset(data)
loader = DataLoader(ds, batch_size=3, shuffle=False, collate_fn=pad_collate_fn)
batch = next(iter(loader))

Output

{
  'input_ids': [[ 101, 2054,  102,    0],
 [ 101, 7592, 2026,  102],
 [ 101,  102,    0,    0]],
  'attention_mask': [[1, 1, 1, 0],
 [1, 1, 1, 1],
 [1, 1, 0, 0]],
  'lengths': [3, 4, 2]
}

Giải thích

Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.

Ví dụ 2

Input

ds = TextSequenceDataset([[1], [2, 3, 4]])
batch = pad_collate_fn([ds[0], ds[1]], pad_value=-1)

Output

{
  'input_ids': [[ 1, -1, -1],
 [ 2,  3,  4]],
  'attention_mask': [[1, 0, 0],
 [1, 1, 1]],
  'lengths': [1, 3]
}

Giải thích

Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.

3 cấp độ gợi ýMở dần khi bạn thật sự cần hỗ trợ.

Phân tích lời giảiGiải thích hướng tư duy và thuật toán.

Code tham khảoDùng để đối chiếu sau khi tự làm.

Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.

Góp ý & báo lỗi bài tập

Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.

Tiến độ của tôi ở bài này

Kiến thức và chủ đề

Nội dung đề bài

Mục tiêu kiến thức

Yêu cầu

Input

Output

Ràng buộc

Ví dụ 1

Input

Output

Giải thích

Ví dụ 2

Input

Output

Giải thích

Bài tập liên quan cùng chuyên đề

Góp ý & báo lỗi bài tập