Phân Mảnh Ngữ Liệu Huấn Luyện Liên Tục (Continuous Streaming Corpus Token Chunking)

Mô tả bài toán

Trong giai đoạn tiền huấn luyện (Pretraining) của các mô hình như LLaMA hay GPT-3, hàng tỷ token văn bản được nối liên tục với nhau qua token <eos> tạo thành một mảng 1D duy nhất.

Để tận dụng 100% công suất tính toán của GPU và không lãng phí tài nguyên vào token padding <pad>, mảng 1D khổng lồ này được cắt thành các khối độc lập có kích thước cố định block_size (thường là 2048 hoặc 4096):

• Tổng số khối nguyên vẹn: N = ⌊ len(tokens) / block_size ⌋.
• Phần dư còn lại ở cuối (nhỏ hơn block_size) bị loại bỏ hoàn toàn.
• Reshape mảng thành ma trận 2D shape (N, block_size).

Yêu cầu kỹ thuật:

Viết hàm chunk_continuous_stream(token_stream: list[int] | np.ndarray, block_size: int) -> np.ndarray:

• token_stream: Dòng token IDs 1D.
• Kiểm tra điều kiện: block_size > 0. Nếu không, ném ValueError("block_size must be positive").
• Tính toán số lượng block hoàn chỉnh N.
• Nếu N == 0: Trả về mảng rỗng shape (0, block_size) với dtype=np.int64.
• Cắt mảng về đúng độ dài N × block_size, sau đó reshape thành tensor shape (N, block_size) kiểu np.int64.

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.