Hybrid Retrieval – Kết Hợp Dense Vector Và BM25 (Reciprocal Rank Fusion)

Mục tiêu kiến thức

Hybrid search kết hợp hai tín hiệu bổ sung nhau:

• BM25 (sparse): tốt với keyword matching và rare terms
• Dense retrieval (dense): tốt với semantic similarity

Reciprocal Rank Fusion (RRF): RRF(d) = ∑_{r ∈ R} 1k + r(d) Trong đó k=60 (hằng số), r(d) là hạng của tài liệu d trong danh sách r.

Yêu cầu

def reciprocal_rank_fusion(ranked_lists: list[list[int]], k=60) -> list[int]:
    # Combine multiple ranked lists using RRF
    pass

def hybrid_retrieval(
    query_tokens: list[str],
    query_vector: np.ndarray,
    doc_tokens: list[list[str]],
    doc_vectors: np.ndarray,
    top_k=5, rrf_k=60
) -> list[int]:
    # Returns document indices ranked by RRF fusion of BM25 + cosine
    pass

Ràng buộc

• Thời gian chạy tối đa: 5000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.