Cung cấp kiến thức chuyên sâu và dữ liệu doanh nghiệp cho LLM mà không cần huấn luyện lại. Tự xây dựng trọn vẹn quy trình trích xuất và truy hồi thông tin theo vector.
bài tập có chấm code
Bài tập theo chuyên đề, có đề bài, ví dụ và starter code riêng.
cơ bản
Củng cố nền tảng và làm quen với kỹ thuật cốt lõi.
trung bình
Kết hợp nhiều bước suy luận để vận dụng kiến thức.
nâng cao
Thử thách tối ưu, cấu trúc dữ liệu và thuật toán chuyên sâu.
Chiến lược cắt đoạn theo kích thước cố định có độ gối đầu (overlap) và cắt đoạn theo ngữ nghĩa.
Chuyển văn bản thành vector đặc trưng nhiều chiều và tối ưu hóa bộ nhớ.
Tính toán độ tương đồng Cosine giữa vector truy vấn và toàn bộ cơ sở dữ liệu để chọn K đoạn văn bản sát nhất.
Tái xếp hạng kết quả và đo lường độ phủ thông tin (Recall@K, MRR).
Cắt đoạn văn bản quá ngắn làm mất ngữ cảnh hoặc quá dài vượt quá cửa sổ ngữ cảnh của mô hình.
Không chuẩn hóa vector embedding (L2 normalize) trước khi tính tích vô hướng dot product.
Trong mỗi mức độ, bài tập được xếp từ dễ nhất đến khó nhất — hãy đi theo số bước.
Nhập xuất, biến, rẽ nhánh và các bước suy luận đơn giản.
Trong các mô hình ngôn ngữ lớn (LLM), tầng Embedding (nn.Embedding) thực chất là một bảng tra cứu (lookup table) ma trận trọng số W ∈ RV × D, trong đó V là kích…
Trong các hệ thống RAG và Vector Database quy mô lớn, phép tính Cosine Similarity:
Trong hệ truy hồi vector, mỗi tài liệu và mỗi câu hỏi được biểu diễn bằng một
Recall@k đo xem trong k tài liệu đầu tiên mà hệ truy hồi trả về có bao nhiêu tài
Trước khi cho điểm một cặp truy vấn - tài liệu, hệ truy hồi cổ điển đếm xem một term
Vòng lặp, mảng một chiều, chuỗi và hàm ở mức cơ bản.
Bước xếp hạng đầu tiên của một hệ truy hồi dense là tính điểm giữa vector câu hỏi và
MRR đánh giá chất lượng xếp hạng bằng cách nhìn vào vị trí của tài liệu liên quan đầu
Trước khi đưa văn bản vào embedding, hệ truy hồi cắt nó thành các chunk có kích thước
Nhiều chỉ mục vector chuẩn hoá sẵn mọi embedding về độ dài 1 để tích vô hướng trở
IDF đo mức độ hiếm của một term: term xuất hiện trong càng ít tài liệu thì càng đặc
Dùng một kỹ thuật quen thuộc: sắp xếp, tìm kiếm, đếm, ngăn xếp.
Khi xây dựng các mô hình Sentence Embedding (như BERT, SimCSE, OpenAI text-embedding), biểu diễn của cả câu được tạo ra bằng cách gom cụm (pooling) các vector token dọc theo trục đ…
Khi huấn luyện các mô hình ngôn ngữ lớn với từ điển lên đến 32,000 – 128,000 token, việc lưu trữ một ma trận gradient dày ∇W ∈ RV × D cho mỗi bước tốn hàng…
Một trong những phát hiện chấn động của mô hình Word2Vec (Mikolov et al., 2013) là không gian vector nhúng có khả năng bảo toàn các mối quan hệ ngữ nghĩa tuyến tính thông qua phép…
Ưu tiên ngắt tại các ranh giới tự nhiên lớn nhất trước: ["\n\n", "\n", " ", ""]. Nếu đoạn văn bản sau khi tách vẫn lớn hơn chunk_size, chuyển sang dấu phân cách nhỏ hơn tiếp theo.
Thay vì tính u · v|u| |v| cho mỗi truy vấn, ta chuẩn hóa chuẩn L2 tất cả các vector ngay khi nạp vào chỉ mục (v ← v|v|2).
1. Giai đoạn 1 (Bi-Encoder / Retrieval): Tìm kiếm nhanh top 50 tài liệu ứng viên bằng Vector Index hoặc BM25 trong vài mili-giây.
Một Prompt hoàn chỉnh gồm:
Phối hợp hai kỹ thuật trong cùng một lời giải.
1. Faithfulness (Độ trung thực / Chống ảo giác): Tỷ lệ các luận điểm (claims/statements) trong câu trả lời được chứng minh trực tiếp bởi Context được cung cấp:
cosine(q, d) = q · d|q| |d|
RRF(d, L) = ∑r ∈ L 1k + r(d)
BM25 (Best Match 25) là hàm xếp hạng tiêu chuẩn trong Information Retrieval, cải tiến TF-IDF bằng cách chuẩn hóa độ dài tài liệu.
TF(t, d) = count(t, d)|d|, IDF(t) = logN + 1df(t) + 1
Trong học không gian biểu diễn (Metric Learning / FaceNet / Dense Passage Retrieval), mục tiêu là kéo các vector cùng lớp (Anchor và Positive) lại gần nhau, đồng thời đẩy các vecto…
RRF_Score(d) = ∑m ∈ M 1k + rm(d)
Thuật toán chuyên sâu: quy hoạch động, đồ thị, cây.
L = -ln σ(uwOT vwI) - ∑k=1K ln σ(-uwnkT vwI)
BM25(D, Q) = ∑q ∈ Q IDF(q) · f(q, D) · (k1 + 1)f(q, D) + k1 · (1 - b + b · |D|avgdl)
RAG 2 giai đoạn:
MRL học embeddings có thể truncate về kích thước nhỏ hơn mà vẫn giữ chất lượng:
3 metrics quan trọng nhất để đánh giá RAG pipeline:
Cấu trúc dữ liệu nâng cao và nhiều bước chứng minh.
Li = -log exp(sim(zi, zi+)/τ)∑j ≠ i exp(sim(zi, zj)/τ)
1. Giai đoạn Huấn luyện (Train): Chạy K-Means để chia không gian vector thành C tế bào Voronoi (Voronoi cells), mỗi tế bào có một tâm cụm (centroid).
Hybrid search kết hợp hai tín hiệu bổ sung nhau:
1. Chunking: chia tài liệu dài thành đoạn nhỏ có overlap
Nhóm Zalo