CHUYÊN ĐỀ AI THỰC CHIẾN

Bài tập Huấn luyện mạng Deep Learning & Giải thuật tối ưu từ gốc

Bóc tách cỗ máy huấn luyện mạng nơ-ron: tự tính đạo hàm chuỗi (chain rule), cập nhật trọng số, ổn định số học và kiểm soát hiện tượng overfitting.

bài tập có chấm code

Bài tập theo chuyên đề, có đề bài, ví dụ và starter code riêng.

cơ bản

Củng cố nền tảng và làm quen với kỹ thuật cốt lõi.

trung bình

Kết hợp nhiều bước suy luận để vận dụng kiến thức.

nâng cao

Thử thách tối ưu, cấu trúc dữ liệu và thuật toán chuyên sâu.

Bước 1

Mạng MLP & Backprop từ số 0

Lan truyền tiến (forward) và lan truyền ngược (backward) nhiều tầng bằng NumPy.

Bước 2

Hàm kích hoạt & Softmax ổn định

Cài đặt ReLU, GELU và Softmax trừ max để tránh tràn số số học.

Bước 3

Các bộ tối ưu hóa (Optimizers)

Cài đặt SGD với Momentum, RMSprop và AdamW có trọng số suy giảm.

Bước 4

Kỹ thuật điều hòa (Regularization)

Tự viết lớp Dropout ngẫu nhiên và Batch Normalization chuẩn hóa mini-batch.

•

Sai kích thước ma trận chuyển vị (transpose) khi nhân đạo hàm trong lan truyền ngược.

•

Quên chuyển mạng sang chế độ eval() khi đánh giá khiến Dropout hoặc BatchNorm vẫn hoạt động sai.

Trong mỗi mức độ, bài tập được xếp từ dễ nhất đến khó nhất — hãy đi theo số bước.

Cơ bản 12 bài

Khởi động

Nhập xuất, biến, rẽ nhánh và các bước suy luận đơn giản.

ai-309Bước 1Cơ bản

Một bước cập nhật gradient descent

Một bước hạ gradient lấy trọng số trừ đi tích của learning rate và gradient. Toàn bộ quá trình huấn luyện chỉ là lặp lại phép tính này, nên hiểu đúng một bước là hiểu cả vòng lặp.

ai-314Bước 2Cơ bản

Nơ-ron tuyến tính: tích vô hướng cộng bias

Một nơ-ron tuyến tính tính tích vô hướng giữa đầu vào và trọng số rồi cộng thêm bias. Bias cho phép đường quyết định dịch chuyển mà không phụ thuộc đầu vào, nên thiếu nó mô hình ké…

ai-323Bước 3Cơ bản

Cross-entropy của một dự đoán

Cross-entropy đo mức bất ngờ của kết quả thật theo xác suất mô hình gán cho nó: mô hình càng tự tin vào đáp án sai thì mất mát càng lớn, và tăng vô hạn khi xác suất tiến về 0.

ai-318Bước 4Cơ bản

Hinge loss cho phân loại hai lớp

Hinge loss là hàm mất mát của SVM: nó chỉ phạt khi mẫu bị phân loại sai hoặc nằm trong lề. Khi mẫu đã đúng và nằm ngoài lề, mất mát bằng 0 nên mô hình tập trung vào các mẫu khó.

ai-324Bước 5Cơ bản

Binary cross-entropy cho một mẫu

Binary cross-entropy chỉ phạt một nửa công thức tuỳ theo nhãn thật: nhãn 1 phạt theo xác suất dự đoán lớp dương, nhãn 0 phạt theo xác suất dự đoán lớp âm. Vì vậy hai mẫu có cùng xá…

ai-161Bước 6Cơ bản

Tính đạo hàm hàm kích hoạt phi tuyến (Sigmoid, Tanh, ReLU, GELU)

Trong mạng nơ-ron, hàm kích hoạt phi tuyến cho phép mạng xấp xỉ các hàm số phức tạp. Khi thực hiện Backpropagation, ta cần tính đạo hàm giải tích của từng hàm kích hoạt:

Làm quen

Vòng lặp, mảng một chiều, chuỗi và hàm ở mức cơ bản.

ai-169Bước 7Cơ bản

Cạm bẫy thực chiến khi cộng bias và lan truyền ngược (Bias Broadcasting Gotcha)

Trong PyTorch và NumPy, khi thực hiện phép cộng bias vào đầu ra ma trận Y = Z + b với Z ∈ R^{B × S × D} (Batch, Sequence, Dim) và b ∈ R^D, cơ chế br…

ai-190Bước 8Cơ bản

Hàm mất mát Smooth L1 và Huber Loss chống ngoại lai (Huber Regression Loss)

Trong bài toán hồi quy tọa độ Bounding Box (Fast R-CNN) và dự đoán giá trị liên tục, hàm mất mát bình phương MSE (L₂) rất nhạy cảm với các điểm dữ liệu nhiễu ngoại lai (outliers),…

ai-288Bước 9Cơ bản

Hàm kích hoạt ReLU trên một feature

ReLU (max(0, x)) là hàm kích hoạt mặc định của hầu hết mạng nơ-ron hiện đại vì rẻ và ít bị triệt tiêu gradient. Áp dụng lên từng giá trị của một feature là bước quen thuộc khi mô…

ai-293Bước 10Cơ bản

Hàm sigmoid trên một feature

Sigmoid nén mọi giá trị thực về khoảng (0, 1), nên dùng cho xác suất ở bài phân loại nhị phân và cho các cổng trong mạng hồi quy.

ai-289Bước 11Cơ bản

Softmax của ba logit

Softmax biến logits thành phân phối xác suất: mọi giá trị dương và tổng bằng 1. Đây là bước chuẩn hoá đầu ra của mọi mô hình phân loại đa lớp.

ai-319Bước 12Cơ bản

Kẹp gradient theo chuẩn L2

Kẹp gradient chặn hiện tượng gradient bùng nổ trong mạng sâu và RNN. Nếu chuẩn của gradient vượt ngưỡng, ta co cả vector theo cùng một tỉ lệ, nên hướng cập nhật không đổi mà chỉ độ…

Trung bình 37 bài

Vận dụng

Dùng một kỹ thuật quen thuộc: sắp xếp, tìm kiếm, đếm, ngăn xếp.

ai-005Bước 1Trung bình

Cài đặt Hàm Softmax Ổn định Số học chống Overflow/Underflow

Trong các mô hình Transformer và Phân loại Đa lớp, vector logits đầu ra của mạng nơ-ron có thể đạt giá trị 1000.0. Một công thức ngây thơ e^z∑ e^z sẽ lập tức tạo ra…

ai-026Bước 2Trung bình

Kỹ thuật Regularization: Inverted Dropout từ Gốc (Train vs Eval Mode)

mask ∼ Bernoulli(1 - p), y = x ⊙ mask1 - p

ai-033Bước 3Trung bình

Cắt Giảm Gradient Toàn Cục theo Chuẩn L2 (Gradient Norm Clipping)

1. Tính chuẩn L2 tổng thể trên toàn bộ các tensor gradient:

ai-034Bước 4Trung bình

Bộ Điều Chỉnh Tốc Độ Học Cosine Annealing Kèm Linear Warmup

1. Giai đoạn Warmup (t ≤ T_warmup): Tăng tuyến tính từ 0 lên lr_max để tránh gradient khổng lồ ở các epoch đầu phá hủy các trọng số khởi tạo ngẫu nhiên.

ai-167Bước 5Trung bình

Khởi tạo trọng số Xavier/Glorot bảo toàn phương sai (Xavier Initialization)

Trong công trình đột phá năm 2010 của Xavier Glorot và Yoshua Bengio, nguyên nhân khiến mạng nơ-ron sâu không hội tụ được chứng minh là do phương sai tín hiệu bị thu hẹp hoặc bùng…

ai-168Bước 6Trung bình

Khởi tạo trọng số He/Kaiming cho mạng nơ-ron ReLU (He Initialization)

Năm 2015, Kaiming He (tác giả ResNet) chỉ ra rằng khởi tạo Xavier thất bại trên mạng dùng ReLU: vì ReLU triệt tiêu hoàn toàn một nửa miền âm (x < 0 ⇒ y = 0), phương sai của…

ai-175Bước 7Trung bình

Kỹ thuật Log-Sum-Exp tránh tràn số dấu phẩy động (Log-Sum-Exp Trick)

Trong học máy, khi tính chuẩn hóa xác suất hoặc hàm Cross-Entropy Loss, ta thường xuyên phải tính:

ai-184Bước 8Trung bình

Hàm Binary Cross-Entropy With Logits ổn định số học (BCEWithLogits)

Trong bài toán phân loại nhị phân hoặc đa nhãn (Multi-Label Classification), hàm mất mát Binary Cross-Entropy (BCE) cho một mẫu có logit z và nhãn y ∈ {0, 1} là:

ai-185Bước 9Trung bình

Kỹ thuật làm mịn nhãn tránh quá tự tin (Label Smoothing Cross-Entropy)

Trong bài báo kinh điển *Rethinking the Inception Architecture* (Szegedy et al., 2016), các tác giả chỉ ra rằng việc huấn luyện mạng với nhãn One-Hot tuyệt đối (y_k = 1) buộc mô hì…

ai-187Bước 10Trung bình

Hàm Focal Loss xử lý mất cân bằng dữ liệu cực đoan (Focal Loss)

Trong bài báo đoạt giải của Tsung-Yi Lin et al. (RetinaNet, ICCV 2017), hàm Focal Loss được thiết kế để giải quyết bài toán mất cân bằng lớp cực đoan (khi số lượng mẫu âm nền áp đả…

ai-188Bước 11Trung bình

Tính độ phân kỳ Kullback-Leibler giữa hai phân phối (KL Divergence)

Trong lý thuyết thông tin và học tăng cường với phản hồi từ con người (RLHF), độ phân kỳ Kullback-Leibler (KL Divergence / Relative Entropy) đo lường sự khác biệt giữa phân phối xá…

ai-192Bước 12Trung bình

Cơ chế tích lũy Gradient mô phỏng Batch kích thước lớn (Gradient Accumulation)

Trong huấn luyện LLM, một batch size hiệu dụng lý tưởng thường là 512 hoặc 1024 câu. Tuy nhiên, bộ nhớ VRAM của GPU chỉ đủ chứa một micro-batch nhỏ kích thước 4 hoặc 8.

ai-194Bước 13Trung bình

Kỹ thuật kẹp Gradient theo chuẩn L2 chống nổ Gradient (Gradient Clipping by Norm)

Trong huấn luyện RNN và LLM, khi chuỗi ngữ cảnh dài, tích các ma trận trọng số trong lan truyền ngược có thể khiến gradient tăng theo cấp số nhân thành hàng triệu (Exploding Gradie…

Kết hợp kỹ thuật

Phối hợp hai kỹ thuật trong cùng một lời giải.

ai-206Bước 14Trung bình

Cài đặt Cosine Annealing Learning Rate Scheduler với Linear Warmup cho LLM

Trong tiền huấn luyện mô hình ngôn ngữ lớn (như GPT-3, Chinchilla, Llama 3), chiến lược điều chỉnh learning rate thống trị là Linear Warmup kết hợp Cosine Annealing Decay:

ai-023Bước 15Trung bình

Cài đặt Thuật toán Tối ưu SGD với Momentum & Weight Decay từ Gốc

1. Nếu có L2 Weight Decay (λ > 0): g_t ← g_t + λ · w_t.

ai-024Bước 16Trung bình

Xây dựng Custom Dataset & Dynamic Collate Function cho PyTorch DataLoader

1. Xây dựng lớp TextSequenceDataset(torch.utils.data.Dataset):

ai-027Bước 17Trung bình

Xây dựng Bộ Quản lý Early Stopping & Checkpoint Mô hình PyTorch

Xây dựng lớp EarlyStoppingManager:

ai-031Bước 18Trung bình

Triển khai Lớp Layer Normalization từ Gốc (So sánh với Batch Norm)

μ = 1D ∑_j=1^D x_j, σ² = 1D ∑_j=1^D (x_j - μ)²

ai-195Bước 19Trung bình

Đường cao tốc Gradient của kết nối tắt Residual (ResNet Highway)

Phát minh vĩ đại của Kaiming He trong kiến trúc ResNet và Vaswani trong Transformer là khối kết nối tắt Residual Connection (Skip Connection):

ai-200Bước 20Trung bình

Cài đặt SGD thuần với Learning Rate Scheduler (StepLR & ExponentialLR)

Trong quá trình huấn luyện mạng nơ-ron, tốc độ học (learning rate η) cố định thường khiến mô hình khó hội tụ vào cực tiểu địa phương tối ưu. Kỹ thuật giảm dần tốc độ học (Learni…

ai-202Bước 21Trung bình

Bộ tối ưu hóa thích nghi AdaGrad (Adaptive Subgradient Methods) từ đầu bằng NumPy

AdaGrad (Duchi et al., 2011) là thuật toán tối ưu hóa tiên phong đặt nền móng cho học thích nghi (Adaptive Learning Rate). Thay vì dùng một learning rate đồng nhất cho mọi tham số,…

ai-203Bước 22Trung bình

Bộ tối ưu hóa RMSprop với trung bình động hàm mũ (Exponential Moving Average)

AdaGrad giải quyết vấn đề điều chỉnh tốc độ học theo từng tọa độ nhưng gặp phải nhược điểm chí mạng: bộ tích lũy G_t tích lũy toàn bộ quá khứ nên tăng đơn điệu không ngừng, khiến l…

ai-383Bước 23Trung bình

Tính MSE loss bằng PyTorch

Nối prediction của regression với loss tensor mà optimizer sẽ tối ưu.

ai-381Bước 24Trung bình

ReLU, sigmoid và softmax

Nhận ra mỗi activation có vai trò khác nhau: lọc âm, nén xác suất, hoặc chuẩn hóa logits.

ai-384Bước 25Trung bình

BCEWithLogitsLoss đúng cách

Phân biệt logits với probability và chọn loss binary đúng API.

Thành thạo

Bài dài hơn, cần chọn đúng cấu trúc dữ liệu.

ai-385Bước 26Trung bình

CrossEntropyLoss cho nhiều lớp

Dùng đúng CrossEntropyLoss cho logits của classifier nhiều lớp.

ai-380Bước 27Trung bình

Linear layer và forward theo batch

Thấy một Linear layer biến batch có in_features thành batch có out_features.

ai-382Bước 28Trung bình

MLP nhỏ bằng nn.Sequential

Ghép Linear và ReLU thành một MLP tối thiểu có thể làm forward.

ai-386Bước 29Trung bình

TensorDataset và DataLoader không xáo trộn

Đóng gói feature/label thành dataset và chia batch có shape rõ ràng.

ai-391Bước 30Trung bình

train/eval và no_grad với Dropout

Phân biệt behavior train/eval của Dropout và tắt gradient khi chỉ đánh giá.

ai-387Bước 31Trung bình

Chia train/validation và tạo DataLoader

Tách dataset thành train/validation rồi nạp từng phần bằng DataLoader.

ai-388Bước 32Trung bình

Một bước optimizer đầy đủ

Nhìn đủ ba bước zero_grad → backward → optimizer.step trong một update.

ai-393Bước 33Trung bình

Lưu và nạp state_dict

Hiểu state_dict là phần trọng tâm để lưu model artifact và nạp lại ở nơi khác.

ai-389Bước 34Trung bình

Huấn luyện linear regression bằng PyTorch

Huấn luyện model PyTorch end-to-end trên bài regression nhỏ và quan sát loss.

ai-392Bước 35Trung bình

Cố ý overfit một dataset rất nhỏ

Dùng một dataset nhỏ để thấy model đủ capacity có thể nhớ train rất tốt.

ai-390Bước 36Trung bình

Huấn luyện MLP binary với BCEWithLogitsLoss

Huấn luyện MLP binary đúng với logits và BCEWithLogitsLoss.

ai-394Bước 37Trung bình

Pipeline ML/DL đầu-cuối bằng PyTorch

Kết nối split dữ liệu, tensor, DataLoader, MLP, train và validation thành một workflow hoàn chỉnh.

Nâng cao 15 bài

Thử thách

Thuật toán chuyên sâu: quy hoạch động, đồ thị, cây.

ai-170Bước 1Nâng cao

Khởi tạo ma trận trọng số trực giao qua phân rã QR (Orthogonal Initialization)

Trong mạng hồi quy (RNN/LSTM) và các mô hình sâu không có Residual connection, khởi tạo trực giao (Orthogonal Initialization) là kỹ thuật quan trọng nhất để bảo toàn độ dài vector…

ai-197Bước 2Nâng cao

Kỹ thuật Gradient Checkpointing đánh đổi tính toán lấy bộ nhớ (Activation Checkpointing)

Khi huấn luyện mô hình Transformer lớn, phần lớn bộ nhớ VRAM không phải bị chiếm bởi trọng số mô hình mà bởi Activation Cache (các kết quả trung gian cần lưu lại cho pha backward).

ai-021Bước 3Nâng cao

Multi-Layer Perceptron (MLP) Forward & Backward Thủ công bằng NumPy

1. Tuyến tính tầng 1: Z₁ = X W₁ + b₁ (với X ∈ R^{N × D}, W₁ ∈ R^{D × H}, b₁ ∈ R^H).

ai-025Bước 4Nâng cao

Triển khai Lớp Batch Normalization 1D từ Gốc (Train vs Eval Mode)

1. Tính kỳ vọng mini-batch: μ_B = 1N ∑_i=1^N x_i.

ai-032Bước 5Nâng cao

Cài đặt Thuật toán Tối ưu Hóa AdamW (Decoupled Weight Decay) từ Gốc

1. Tăng bước đếm thời gian: t ← t + 1.

Chuyên sâu

Cấu trúc dữ liệu nâng cao và nhiều bước chứng minh.

ai-166Bước 6Nâng cao

Cài đặt tầng tuyến tính Forward & Backward từ đầu bằng NumPy (Linear Layer)

Tầng tuyến tính (Linear Layer / Fully-Connected Layer) là khối kiến trúc cốt lõi nhất của mạng nơ-ron:

ai-176Bước 7Nâng cao

Đạo hàm giải tích của Softmax và tích Vector-Jacobian (Softmax VJP)

Cho vector xác suất sau Softmax p = softmax(z) ∈ R^V với p_i = e^z_i∑_k e^z_k.

ai-182Bước 8Nâng cao

Thủ thuật Gumbel-Max và Gumbel-Softmax vi phân (Gumbel Reparameterization)

Trong học tăng cường và mô hình sinh rời rạc, thao tác lấy mẫu argmax hoặc sample() từ phân phối Categorical là một hàm bậc thang không thể tính đạo hàm (non-differentiable).

ai-183Bước 9Nâng cao

Hàm mất mát Fused Softmax Cross-Entropy ổn định số học (Fused Cross-Entropy)

Trong PyTorch (nn.CrossEntropyLoss) và các framework AI, hàm mất mát Cross-Entropy không bao giờ tính riêng p = softmax(z) rồi loss = -log(p). Nếu làm rời rạc, khi mô hình dự đoán…

ai-191Bước 10Nâng cao

Huấn luyện mạng MLP 2 tầng hoàn chỉnh từ đầu bằng NumPy (2-Layer MLP Backprop)

Hãy cài đặt một mạng nơ-ron truyền thẳng 2 tầng (2-Layer Multi-Layer Perceptron) hoàn chỉnh bằng NumPy:

Tối ưu & chứng minh

Ràng buộc chặt về thời gian và bộ nhớ — mức thi đấu.

ai-193Bước 11Nâng cao

Lộ trình thực hành đề xuất

Mạng MLP & Backprop từ số 0

Hàm kích hoạt & Softmax ổn định

Các bộ tối ưu hóa (Optimizers)

Kỹ thuật điều hòa (Regularization)

Lỗi thường gặp & Cách phòng tránh

Danh sách bài tập thực hành (64 bài)

Cơ bản 12 bài

Khởi động

Làm quen

Trung bình 37 bài

Vận dụng

Kết hợp kỹ thuật

Thành thạo

Nâng cao 15 bài

Thử thách

Chuyên sâu

Tối ưu & chứng minh

Chuyên đề liên quan thuộc môn AI

Machine Learning Cổ điển

Transformer & Cơ chế Attention

Tensor & Đại số ma trận

RAG & Vector Retrieval