ai-172Bước 1Cơ bản
Bản chất tầng Embedding như một tầng Tuyến tính One-Hot (Embedding as Linear)
Trong Xử lý Ngôn ngữ Tự nhiên (NLP) và LLM, một câu hỏi sư phạm kinh điển là: Tầng Embedding thực chất là gì?
CHUYÊN ĐỀ AI THỰC CHIẾN
Bài tập Kiến trúc Transformer & Cơ chế Attention trong PyTorch
Transformer là nền tảng của mọi mô hình ngôn ngữ lớn (LLM) hiện đại như GPT, Claude, LLaMA. Lập trình từng khối tính toán cốt lõi để làm chủ công nghệ AI tạo sinh.
27
bài tập có chấm code
Bài tập theo chuyên đề, có đề bài, ví dụ và starter code riêng.
9
cơ bản
Củng cố nền tảng và làm quen với kỹ thuật cốt lõi.
8
trung bình
Kết hợp nhiều bước suy luận để vận dụng kiến thức.
10
nâng cao
Thử thách tối ưu, cấu trúc dữ liệu và thuật toán chuyên sâu.
Lộ trình thực hành đề xuất
Bước 1
Scaled Dot-Product Attention
Tính tích vô hướng Q và K, nhân hệ số căn bậc hai dk, áp dụng Softmax và nhân với V.
Bước 2
Mặt nạ Nhân quả (Causal Mask)
Che các từ tương lai bằng ma trận tam giác trên để mô hình không nhìn trộm đáp án.
Bước 3
Multi-Head Attention
Chiếu Q, K, V qua các ma trận tuyến tính, tách đầu độc lập và ghép kết quả.
Bước 4
Khối Feed-Forward hiện đại
Cài đặt mạng FFN truyền thống và khối kích hoạt cổng SwiGLU dùng trong LLaMA.
Lỗi thường gặp & Cách phòng tránh
•
Quên nhân tỷ lệ chia 1/sqrt(dk) khiến Softmax rơi vào vùng bão hòa gradient.
•
Lỗi shape tensor khi reshape và transpose các đầu (heads) trong Multi-Head Attention.
Danh sách bài tập thực hành (27 bài)
Trong mỗi mức độ, bài tập được xếp từ dễ nhất đến khó nhất — hãy đi theo số bước.
Cơ bản 9 bài
Khởi động
Nhập xuất, biến, rẽ nhánh và các bước suy luận đơn giản.
ai-234Bước 2Cơ bản
Cân bằng biên độ vector nhúng bằng hệ số nhân căn bậc hai chiều mô hình (Embedding Scale Factor in Transformers)
Trong bài báo kinh điển *Attention Is All You Need* (Vaswani et al., 2017), các tác giả đã nhân vector nhúng với √(dmodel) trước khi cộng với Positional Encoding:
ai-239Bước 3Cơ bản
Cắt và Dịch Chuyển Đầu Vào - Mục Tiêu Tự Hồi Quy (Causal Next-Token Target Shifting)
Trong bài toán mô hình hóa ngôn ngữ tự hồi quy (Autoregressive Language Modeling) như GPT, mô hình được huấn luyện để dự đoán token tiếp theo tại mỗi bước thời gian:
ai-240Bước 4Cơ bản
Phân Đoạn Văn Bản bằng Cửa Sổ Trượt Cố Định (Fixed-length Sliding Window Chunking)
Khi xử lý các tài liệu văn bản dài vượt quá cửa sổ ngữ cảnh tối đa của mô hình (ví dụ context length của GPT-2 là 1024), văn bản cần được cắt thành các đoạn nhỏ (chunks) bằng kỹ th…
ai-241Bước 5Cơ bản
Đệm Độ Dài Chuỗi và Sinh Mặt Nạ Chú Ý (Sequence Dynamic Padding and Attention Mask)
Trong một mini-batch huấn luyện hoặc sinh văn bản, các câu có độ dài tự nhiên khác nhau. Để gom nhóm thành tensor ma trận (B, T) xử lý đồng thời trên GPU, các câu ngắn hơn phải đượ…
Làm quen
Vòng lặp, mảng một chiều, chuỗi và hàm ở mức cơ bản.
ai-242Bước 6Cơ bản
Chiến Lược Cắt Ngắn Chuỗi Quá Dài (Sequence Truncation: Head, Tail, Middle)
Khi tài liệu vượt quá giới hạn độ dài max_length, việc cắt ngắn (truncation) cần được thực hiện có chủ đích tùy theo đặc thù tác vụ:
ai-243Bước 7Cơ bản
Xây dựng Ma trận Mặt Nạ Nhân Quả Tự Hồi Quy (Causal Lower-Triangular Attention Mask)
Trong cơ chế Self-Attention tự hồi quy (Causal Self-Attention), token tại vị trí i chỉ được phép chú ý đến các token tại vị trí quá khứ và hiện tại j ≤ i, tuyệt đối không được nh…
ai-244Bước 8Cơ bản
Phân Mảnh Ngữ Liệu Huấn Luyện Liên Tục (Continuous Streaming Corpus Token Chunking)
Trong giai đoạn tiền huấn luyện (Pretraining) của các mô hình như LLaMA hay GPT-3, hàng tỷ token văn bản được nối liên tục với nhau qua token <eos> tạo thành một mảng 1D duy nhất.
ai-246Bước 9Cơ bản
Định Hình Lại Tensor Đầu Ra và Nhãn Mục Tiêu Cho Hàm Mất Mát (Cross-Entropy Tensor Flattening with Ignore Index)
Đầu ra của mô hình ngôn ngữ tự hồi quy là một tensor Logits 3 chiều có shape (B, T, V) trong đó B là batch size, T là độ dài chuỗi và V là kích thước từ điển. Nhãn mục tiêu targets…
Trung bình 8 bài
Vận dụng
Dùng một kỹ thuật quen thuộc: sắp xếp, tìm kiếm, đếm, ngăn xếp.
ai-248Bước 1Trung bình
Sinh Tensor Chỉ Số Vị Trí Cho Tầng Positional Encoding (Token Position IDs Generator)
Trong kiến trúc Transformer, vì cơ chế Self-Attention không phân biệt được thứ tự trước sau của các từ trong câu (tính chất hoán vị đối xứng), mô hình cần tầng Positional Encoding…
ai-036Bước 2Trung bình
Xây dựng Tầng Feed-Forward SwiGLU của Transformer Hiện Đại (LLaMA)
SwiGLU(x) = ( SiLU(x Wgate) ⊙ (x Wup) ) Wdown
ai-069Bước 3Trung bình
Độ Lệch Tuyến Tính Trong Chú Ý (Attention with Linear Biases - ALiBi)
Softmax(Q KT + m · B)
ai-070Bước 4Trung bình
Cửa Sổ Chú Ý Trượt (Sliding Window Attention - SWA) Mistral AI
i - W < j ≤ i
Kết hợp kỹ thuật
Phối hợp hai kỹ thuật trong cùng một lời giải.
ai-072Bước 5Trung bình
Hàm Kích Hoạt Cổng Tuyến Tính SwiGLU (Shazeer 2020) LLaMA
SwiGLU(x) = (Swish(x Wgate) ⊗ x Wup) Wdown
ai-073Bước 6Trung bình
Chuẩn Hóa Căn Bậc Hai Trung Bình (RMSNorm - Zhang & Sennrich) LLaMA
1. Trừ giá trị trung bình μ (re-centering).
ai-076Bước 7Trung bình
Ràng Buộc Trọng Số (Weight Tying) Giữa Input Embedding & Output LM Head
Xây dựng lớp TiedLanguageModel(torch.nn.Module):
ai-245Bước 8Trung bình
Bộ Gom Nhóm Mini-Batch Huấn Luyện Ngôn Ngữ Tự Hồi Quy (Autoregressive Batch Collator)
Khi xây dựng DataLoader để nạp dữ liệu cho mô hình ngôn ngữ tự hồi quy, hàm gom nhóm collate_fn có nhiệm vụ chuyển đổi danh sách các mẫu văn bản độ dài tự do thành một batch hoàn c…
Nâng cao 10 bài
Thử thách
Thuật toán chuyên sâu: quy hoạch động, đồ thị, cây.
ai-035Bước 1Nâng cao
Xây dựng Lớp Multi-Head Attention (MHA) Đầy Đủ trong PyTorch
headi = Attention(Q WiQ, K WiK, V WiV)
ai-067Bước 2Nâng cao
Mã Hóa Vị Trí Xoay (Rotary Position Embedding - RoPE) LLaMA từ Gốc
Với vector 2D [x1, x2] ở vị trí thứ m và tần số góc θ:
ai-068Bước 3Nâng cao
Chú Ý Nhóm Truy Vấn (Grouped-Query Attention - GQA) LLaMA-3
Xây dựng hàm repeat_kv và lớp GroupedQueryAttention(torch.nn.Module):
ai-071Bước 4Nâng cao
Ý Tưởng Tiling & Online Softmax Trong FlashAttention (Dao et al.)
Thay vì đợi toàn bộ hàng hoàn thành để tìm max và tổng exp, ta duy trì running maximum mi và running sum li:
ai-074Bước 5Nâng cao
Bộ Định Tuyến Chuyên Gia Top-K (MoE Router) Mixtral 8x7B
H(x) = x Wg (Wg ∈ Rdmodel × E)
Chuyên sâu
Cấu trúc dữ liệu nâng cao và nhiều bước chứng minh.
ai-075Bước 6Nâng cao
Hàm Mất Mát Cân Bằng Tải Phụ Trợ (MoE Auxiliary Load Balancing Loss)
Nếu không có cơ chế điều tiết, bộ định tuyến MoE sẽ có xu hướng gửi 95\% số token cho 1 hoặc 2 chuyên gia quen thuộc vì chúng được cập nhật thường xuyên hơn. Các chuyên gia còn lại…
ai-126Bước 7Nâng cao
Flash Attention – Tính Toán Attention Theo Chunk (Memory-Efficient)
Standard attention phải tạo ma trận N × N tốn O(N2) bộ nhớ. Flash Attention tính toán theo chunk nhỏ:
ai-171Bước 8Nâng cao
Phép chiếu tuyến tính gộp cho Attention đa đầu (Fused Multi-Head Linear Projection)
Trong các mô hình Transformer hiện đại (Llama, GPT, Mistral), thay vì tạo 3 tầng tuyến tính riêng biệt cho Query, Key, Value, kiến trúc chuẩn gộp thành một ma trận chiếu duy nhất W…
ai-173Bước 9Nâng cao
Kỹ thuật chia sẻ trọng số Weight Tying giữa Embedding và LM Head (Weight Tying)
Trong các mô hình sinh ngôn ngữ như GPT-2, việc chia sẻ cùng một ma trận trọng số W ∈ RV × D giữa tầng Input Embedding và Output Linear LM Head được gọi là Weigh…
ai-030Bước 10Nâng cao
Triển khai Cơ chế Self-Attention (Scaled Dot-Product Attention) từ Gốc
Attention(Q, K, V) = softmax(Q KT√(dk) + M) V