Phân Đoạn Văn Bản bằng Cửa Sổ Trượt Cố Định (Fixed-length Sliding Window Chunking)

Mô tả bài toán

Khi xử lý các tài liệu văn bản dài vượt quá cửa sổ ngữ cảnh tối đa của mô hình (ví dụ context length của GPT-2 là 1024), văn bản cần được cắt thành các đoạn nhỏ (chunks) bằng kỹ thuật cửa sổ trượt (sliding window) với tham số kích thước window_size và bước trượt stride.

• Nếu stride < window_size: các đoạn liên tiếp sẽ có độ gối đầu (overlap), giúp mô hình duy trì ngữ cảnh liền mạch giữa các ranh giới cắt.
• Nếu stride == window_size: các đoạn phân tách rời rạc không chồng lấn.
• Tham số drop_last: Nếu True, loại bỏ đoạn cuối cùng nếu độ dài của nó < window_size. Nếu False, vẫn giữ lại đoạn cuối ngắn này.

Yêu cầu kỹ thuật:

Viết hàm:

def create_sliding_windows(
    token_ids: list[int] | np.ndarray,
    window_size: int,
    stride: int,
    drop_last: bool = False
) -> list[list[int]]

• Kiểm tra tham số: window_size > 0 và stride > 0. Nếu không thỏa mãn, ném ngoại lệ ValueError("window_size and stride must be positive").
• Duyệt qua mảng tokens từ chỉ số 0 với bước nhảy stride.
• Cắt đoạn từ start đến min(start + window_size, len(tokens)).
• Nếu đoạn cắt có độ dài < window_size:
• Nếu drop_last == True: không thêm đoạn này vào kết quả.
• Nếu drop_last == False: vẫn thêm vào kết quả (chỉ thêm nếu đoạn không rỗng).
• Trả về danh sách các danh sách số nguyên list[list[int]].

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.