Chiến Lược Cắt Đoạn Văn Bản (Recursive Character Chunking) Cho RAG

Mục tiêu kiến thức

• Hiểu tầm quan trọng của Chunking trong Retrieval-Augmented Generation (RAG):
• Cắt đoạn quá lớn: Chứa nhiều thông tin nhiễu làm vector embedding bị loãng.
• Cắt đoạn quá nhỏ: Làm mất ngữ cảnh toàn vẹn của câu.
• Độ chồng lấn (chunk_overlap): Đảm bảo các ý tưởng nằm ở ranh giới giữa 2 chunk không bị cắt đứt gãy.
• Chiến lược đệ quy (Recursive Splitting):

Ưu tiên ngắt tại các ranh giới tự nhiên lớn nhất trước: ["\n\n", "\n", " ", ""]. Nếu đoạn văn bản sau khi tách vẫn lớn hơn chunk_size, chuyển sang dấu phân cách nhỏ hơn tiếp theo.

Yêu cầu

Viết hàm recursive_character_split(text: str, chunk_size: int = 100, chunk_overlap: int = 20, separators: list[str] | None = None) -> list[str]:

• Kiểm tra điều kiện: 0 ≤ chunk_overlap < chunk_size. Nếu không thỏa, ném ValueError.
• Mặc định separators = ["\n\n", "\n", " ", ""].
• Cắt văn bản sao cho:
• Độ dài mỗi chunk ≤ chunk_size (trừ trường hợp một từ đơn lẻ vượt quá chunk_size).
• Các chunk liên tiếp chồng lấn lên nhau tối đa chunk_overlap ký tự.
• Loại bỏ các chunk rỗng hoặc chỉ chứa khoảng trắng.
• Trả về danh sách các chunk văn bản: list[str].

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.