ai-397Bước 1Cơ bản
Chia lô request theo kích thước
Serving mô hình theo lô giúp tăng thông lượng, nhưng worker chỉ nhận được một kích thước
CHUYÊN ĐỀ AI THỰC CHIẾN
Bài tập Kỹ thuật hệ thống AI, Serving & MLOps thực chiến
Khoảng cách giữa một file notebook thử nghiệm và hệ thống AI phục vụ hàng triệu người dùng là kỹ thuật hệ thống. Luyện tập tối ưu hóa tài nguyên, bảo mật và độ trễ.
35
bài tập có chấm code
Bài tập theo chuyên đề, có đề bài, ví dụ và starter code riêng.
11
cơ bản
Củng cố nền tảng và làm quen với kỹ thuật cốt lõi.
15
trung bình
Kết hợp nhiều bước suy luận để vận dụng kiến thức.
9
nâng cao
Thử thách tối ưu, cấu trúc dữ liệu và thuật toán chuyên sâu.
Lộ trình thực hành đề xuất
Bước 1
Serving với FastAPI
Tạo API nhận dữ liệu ảnh/văn bản, tiền xử lý và trả về kết quả dự đoán có schema an toàn.
Bước 2
Độ trễ & Dynamic Batching
Gộp các request lẻ thành batch để tận dụng tối đa băng thông tính toán phần cứng.
Bước 3
Lượng tử hóa (Quantization)
Chuyển đổi trọng số từ Float32 sang Int8 để giảm dung lượng RAM và tăng tốc suy luận.
Lỗi thường gặp & Cách phòng tránh
•
Nạp lại mô hình từ đĩa ở mỗi request thay vì nạp một lần duy nhất lúc khởi động server (lifecycle event).
•
Không thiết lập cơ chế timeout và giới hạn dung lượng payload dẫn đến cạn kiệt tài nguyên hệ thống.
Danh sách bài tập thực hành (35 bài)
Trong mỗi mức độ, bài tập được xếp từ dễ nhất đến khó nhất — hãy đi theo số bước.
Cơ bản 11 bài
Khởi động
Nhập xuất, biến, rẽ nhánh và các bước suy luận đơn giản.
ai-400Bước 2Cơ bản
Ước tính chi phí gọi mô hình
Mỗi lần gọi API mô hình đều tính tiền theo số token đầu vào và đầu ra, với đơn giá khác
ai-401Bước 3Cơ bản
Tỉ lệ trúng cache
Một tầng cache đặt trước mô hình giúp giảm chi phí và độ trễ: request trùng được trả lời
ai-398Bước 4Cơ bản
Phân tích phiên bản mô hình
Mỗi checkpoint mô hình mang một chuỗi phiên bản dạng model-v3.2.1. Phần 3.2.1 là ba
ai-402Bước 5Cơ bản
Đếm số lần thử lại
Gọi mô hình qua mạng có thể thất bại tạm thời, nên hệ thống cho phép thử lại vài lần với
ai-395Bước 6Cơ bản
Làm sạch đầu vào cho guardrail
Trước khi chuyển câu lệnh của người dùng tới mô hình, tầng guardrail phải loại bỏ các
Làm quen
Vòng lặp, mảng một chiều, chuỗi và hàm ở mức cơ bản.
ai-399Bước 7Cơ bản
Phân vị độ trễ theo hạng gần nhất
Khi đánh giá chất lượng phục vụ mô hình, độ trễ trung bình che mất các request chậm. Kỹ
ai-403Bước 8Cơ bản
Kiểm tra cấu hình hợp lệ
Trước khi khởi động một dịch vụ suy luận, hệ thống đọc file cấu hình và phải từ chối các
ai-396Bước 9Cơ bản
Giới hạn tốc độ bằng token bucket
Cổng API của hệ thống AI nào cũng phải chặn các luồng request dồn dập để bảo vệ mô hình
ai-404Bước 10Cơ bản
Độ lệch embedding bằng PSI
Khi phân phối embedding đầu vào trôi dần khỏi lúc huấn luyện, chất lượng mô hình giảm.
ai-254Bước 11Cơ bản
Trích Xuất và Xác Thực Cấu Trúc JSON từ Đầu Ra LLM
Khi xây dựng các Ứng dụng AI và AI Agent sử dụng Mô hình Ngôn ngữ Lớn (LLM), việc LLM trả về văn bản kèm mã JSON bọc trong markdown codeblock (ví dụ json { ... } ) hoặc kèm lời g…
Trung bình 15 bài
Vận dụng
Dùng một kỹ thuật quen thuộc: sắp xếp, tìm kiếm, đếm, ngăn xếp.
ai-120Bước 1Trung bình
Nén Ma Trận Bằng SVD Hạng Thấp (Low-Rank Approximation)
Mỗi ma trận trọng số W ∈ Rm × n có thể xấp xỉ bởi:
ai-128Bước 2Trung bình
Validation Schema Cho Model Serving API – Input/Output Contract
Một model serving API phải validate input trước khi inference.
ai-247Bước 3Trung bình
Cơ Chế Cuốn Chiếu Lịch Sử Cửa Sổ Ngữ Cảnh (Chat History Rolling Context Window Manager)
Trong các ứng dụng Chatbot AI nhiều lượt (Multi-turn Conversational LLM), tổng số lượng token của cuộc hội thoại có thể dễ dàng vượt quá giới hạn cửa sổ ngữ cảnh max_tokens của mô…
ai-053Bước 4Trung bình
Kiểm Định Tham Số Tool Calling Chuẩn JSON Schema Cho Function Calling
1. Required fields: Mọi trường trong danh sách required phải có mặt trong arguments.
ai-054Bước 5Trung bình
Quản Lý Bộ Nhớ Hội Thoại Trượt Giới Hạn Token & Tóm Tắt (Memory Buffer)
{"role": "system", "content": f"Summary of previous conversation: {summary_text}"} đặt ngay sau tin nhắn system ban đầu.
Kết hợp kỹ thuật
Phối hợp hai kỹ thuật trong cùng một lời giải.
ai-055Bước 6Trung bình
Định Dạng Luồng Dữ Liệu SSE (Server-Sent Events) Chuẩn OpenAI
data: {"id": "chatcmpl-123", "object": "chat.completion.chunk", "created": 1700000000, "model": "ai-empire-llm", "choices": [{"index": 0, "delta": {"content": "text_chunk"}, "finis…
ai-117Bước 7Trung bình
Lượng Tử Hóa Sau Huấn Luyện (PTQ) – Ánh Xạ Tensor Float32 Sang INT8
xq = round(xs + z), xq ∈ [0, 255]
ai-119Bước 8Trung bình
Cắt Tỉa Trọng Số (Magnitude Pruning) – Unstructured Sparsity
Pruning loại bỏ các trọng số nhỏ nhất để tạo mô hình thưa. Unstructured pruning zeroing out từng weight riêng lẻ dựa trên biên độ (|weight|).
ai-127Bước 9Trung bình
Feature Store Pipeline – Chuẩn Hóa, One-Hot Encoding Và Train/Test Split
ML Pipeline cần xử lý nhiều loại feature khác nhau một cách nhất quán.
ai-129Bước 10Trung bình
Phát Hiện Data Drift – Population Stability Index (PSI)
PSI = ∑i (Pi - Qi) · lnPiQi
Thành thạo
Bài dài hơn, cần chọn đúng cấu trúc dữ liệu.
ai-130Bước 11Trung bình
A/B Testing – Kiểm Định Thống Kê Cho Thử Nghiệm Mô Hình ML
z = pA - pB√(p(1-p)(1nA + 1nB))
ai-131Bước 12Trung bình
Hệ Thống Metrics Monitoring Cho ML Model – Latency, Throughput, Error Rate
Production ML cần monitor 4 tín hiệu vàng: latency, throughput, error rate, saturation.
ai-133Bước 13Trung bình
Checkpoint Mô Hình – Lưu Và Khôi Phục Trạng Thái Huấn Luyện
Checkpoint phải lưu đủ thông tin để tiếp tục huấn luyện chính xác.
ai-134Bước 14Trung bình
Model Registry – Quản Lý Phiên Bản Và So Sánh Model Experiments
Model Registry theo dõi tất cả thí nghiệm, metrics và artifacts.
ai-118Bước 15Trung bình
Chắt Lọc Tri Thức (Knowledge Distillation) – Hàm Mất Mát Soft Targets
Knowledge Distillation (Hinton 2015) huấn luyện student model học từ teacher model bằng cách dùng *soft labels* (xác suất mềm) thay vì hard labels (one-hot).
Nâng cao 9 bài
Thử thách
Thuật toán chuyên sâu: quy hoạch động, đồ thị, cây.
ai-052Bước 1Nâng cao
Phân Tích & Điều Phối Vòng Lặp Agent ReAct (Reasoning + Acting)
Thought: <nội dung suy luận>
ai-056Bước 2Nâng cao
Hàng Rào Bảo Vệ LLM (Prompt Injection & Khử Nhận Dạng PII)
1. Prompt Injection Detector: Phát hiện các cụm từ tấn công phổ biến (không phân biệt hoa thường):
ai-121Bước 3Nâng cao
Huấn Luyện Độ Chính Xác Hỗn Hợp (Mixed Precision) – Dynamic Loss Scaling
FP16 có range nhỏ hơn FP32, dễ bị underflow gradient. Loss scaling nhân loss với factor lớn S trước khi backward, sau đó chia gradient cho S.
ai-135Bước 4Nâng cao
Online Learning – Cập Nhật Mô Hình Liên Tục Với Streaming Data
Online learning cập nhật mô hình tức thời sau mỗi sample, không cần lưu toàn bộ dữ liệu.
ai-136Bước 5Nâng cao
Dynamic Batching Cho Inference – Tối Ưu Throughput Và Latency
Dynamic batching gom nhiều request riêng lẻ thành một batch để tận dụng GPU parallelism.
Chuyên sâu
Cấu trúc dữ liệu nâng cao và nhiều bước chứng minh.
ai-132Bước 6Nâng cao
Huấn Luyện Phân Tán – Data Parallelism Và Gradient Accumulation
1. Chia effective_batch_size thành accumulation_steps mini-batches
ai-122Bước 7Nâng cao
Cắt Tỉa Attention Head – Điểm Quan Trọng Taylor Expansion
Không phải mọi attention head đều quan trọng. Điểm quan trọng Taylor bậc nhất:
ai-124Bước 8Nâng cao
QLoRA – Lượng Tử Hóa Kép (Double Quantization) Và NF4
QLoRA đề xuất hai kỹ thuật tiết kiệm bộ nhớ:
ai-125Bước 9Nâng cao
Token Merging (ToMe) – Gộp Token Để Tăng Tốc Vision Transformer
Token Merging (ToMe) giảm số lượng token bằng cách gộp các token giống nhau.
