Chỉ Mục Vector Nhúng Dày Đặc (Dense Vector Flat Index) từ Gốc

Mục tiêu kiến thức

• Hiểu kiến trúc cơ bản của Vector Database (FAISS, Milvus, Chroma, Pinecone):
• Chỉ mục Flat Index: Lưu trữ toàn bộ vector thô và tính toán tương đồng chính xác tuyệt đối (Exact Nearest Neighbors).
• Tối ưu hóa tính toán Cosine Similarity:

Thay vì tính u · v|u| |v| cho mỗi truy vấn, ta chuẩn hóa chuẩn L2 tất cả các vector ngay khi nạp vào chỉ mục (v ← v|v|₂). Khi đó Cosine Similarity trở thành phép nhân vô hướng đơn giản: Sim(u, v) = u_norm · v_norm.

Yêu cầu

Xây dựng lớp DenseVectorFlatIndex:

class DenseVectorFlatIndex:
    def __init__(self, dim: int):
        pass

    def add(self, vectors: np.ndarray, doc_ids: list[str]) -> None:
        pass

    def search(self, query_vector: np.ndarray, top_k: int = 3) -> list[tuple[str, float]]:
        pass

• dim: Số chiều của vector embedding (ví dụ 128, 768, 1536).
• add(vectors, doc_ids):
• vectors: Ma trận numpy shape (N, dim).
• doc_ids: Danh sách N mã định danh văn bản tương ứng.
• Tự động chuẩn hóa L2 vector hóa trước khi lưu trữ.
• search(query_vector, top_k):
• Chuẩn hóa L2 vector truy vấn (D,).
• Tính tích vô hướng ma trận với toàn bộ kho vector.
• Trả về top k cặp (doc_id, cosine_similarity) xếp theo điểm giảm dần.

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.