Phân tách tiền xử lý bằng Regex (GPT-2 / GPT-4 Regex Pre-tokenization)

Mô tả bài toán

Trước khi thuật toán BPE thực hiện gộp các cặp, các mô hình ngôn ngữ lớn hiện đại (GPT-2, GPT-4, LLaMA) luôn chạy một bước Pre-tokenization bằng biểu thức chính quy (Regex).

Mục đích: Ngăn chặn BPE gộp các ký tự xuyên qua ranh giới tự nhiên (ví dụ: không cho phép gộp dấu phẩy với từ tiếp theo, hoặc gộp chữ số với chữ cái).

Mẫu Regex chuẩn của GPT-2:

GPT2_SPLIT_PATTERN = r"""'s|'t|'re|'ve|'m|'ll|'d| ?\w+| ?[^\s\w]+|\s+(?!\S)|\s+"""

Hãy viết hàm regex_pretokenize(text: str) -> list[str]:

• Sử dụng mẫu regex phân rã văn bản đầu vào text thành danh sách các chuỗi con.
• Đảm bảo ghép lại toàn bộ các chuỗi con sẽ khôi phục chính xác 100% văn bản ban đầu: "".join(tokens) == text (Lossless Preservation).
• Nếu text rỗng, trả về danh sách rỗng [].

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.