RAG Pipeline – Chunking Tài Liệu Và Retrieval-Augmented Generation

Mục tiêu kiến thức

RAG gồm 3 bước chính:

• Chunking: chia tài liệu dài thành đoạn nhỏ có overlap
• Indexing: embed các chunk thành vector
• Retrieval: tìm chunk liên quan nhất với query

Fixed-size Chunking với Overlap:

• chunk_size = 100 tokens/words
• chunk_overlap = 20 words overlap giữa các chunk liên tiếp

Yêu cầu

class RAGPipeline:
    def __init__(self, chunk_size: int = 100, chunk_overlap: int = 20):
        pass
    def chunk_document(self, text: str) -> list[str]:
        # Split text into overlapping chunks
        pass
    def index_documents(self, documents: list[str], embedder) -> None:
        # embedder: function(list[str]) -> np.ndarray [N, d]
        pass
    def retrieve(self, query: str, embedder, top_k: int = 3) -> list[dict]:
        # Returns [{'chunk': str, 'score': float, 'doc_id': int, 'chunk_id': int}]
        pass
    def build_context(self, retrieved: list[dict]) -> str:
        # Concatenate retrieved chunks into context string
        pass

Ràng buộc

• Thời gian chạy tối đa: 5000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.