ai-254Bước 1Cơ bản
Trích Xuất và Xác Thực Cấu Trúc JSON từ Đầu Ra LLM
Khi xây dựng các Ứng dụng AI và AI Agent sử dụng Mô hình Ngôn ngữ Lớn (LLM), việc LLM trả về văn bản kèm mã JSON bọc trong markdown codeblock (ví dụ json { ... } ) hoặc kèm lời g…
CHUYÊN ĐỀ AI THỰC CHIẾN
Bài tập Kỹ thuật hệ thống AI, Serving & MLOps thực chiến
Khoảng cách giữa một file notebook thử nghiệm và hệ thống AI phục vụ hàng triệu người dùng là kỹ thuật hệ thống. Luyện tập tối ưu hóa tài nguyên, bảo mật và độ trễ.
25
bài tập có chấm code
Bài tập theo chuyên đề, có đề bài, ví dụ và starter code riêng.
1
cơ bản
Củng cố nền tảng và làm quen với kỹ thuật cốt lõi.
15
trung bình
Kết hợp nhiều bước suy luận để vận dụng kiến thức.
9
nâng cao
Thử thách tối ưu, cấu trúc dữ liệu và thuật toán chuyên sâu.
Lộ trình thực hành đề xuất
Bước 1
Serving với FastAPI
Tạo API nhận dữ liệu ảnh/văn bản, tiền xử lý và trả về kết quả dự đoán có schema an toàn.
Bước 2
Độ trễ & Dynamic Batching
Gộp các request lẻ thành batch để tận dụng tối đa băng thông tính toán phần cứng.
Bước 3
Lượng tử hóa (Quantization)
Chuyển đổi trọng số từ Float32 sang Int8 để giảm dung lượng RAM và tăng tốc suy luận.
Lỗi thường gặp & Cách phòng tránh
•
Nạp lại mô hình từ đĩa ở mỗi request thay vì nạp một lần duy nhất lúc khởi động server (lifecycle event).
•
Không thiết lập cơ chế timeout và giới hạn dung lượng payload dẫn đến cạn kiệt tài nguyên hệ thống.
Danh sách bài tập thực hành (25 bài)
Trong mỗi mức độ, bài tập được xếp từ dễ nhất đến khó nhất — hãy đi theo số bước.
Cơ bản 1 bài
Trung bình 15 bài
Vận dụng
Dùng một kỹ thuật quen thuộc: sắp xếp, tìm kiếm, đếm, ngăn xếp.
ai-120Bước 1Trung bình
Nén Ma Trận Bằng SVD Hạng Thấp (Low-Rank Approximation)
Mỗi ma trận trọng số W ∈ Rm × n có thể xấp xỉ bởi:
ai-128Bước 2Trung bình
Validation Schema Cho Model Serving API – Input/Output Contract
Một model serving API phải validate input trước khi inference.
ai-247Bước 3Trung bình
Cơ Chế Cuốn Chiếu Lịch Sử Cửa Sổ Ngữ Cảnh (Chat History Rolling Context Window Manager)
Trong các ứng dụng Chatbot AI nhiều lượt (Multi-turn Conversational LLM), tổng số lượng token của cuộc hội thoại có thể dễ dàng vượt quá giới hạn cửa sổ ngữ cảnh max_tokens của mô…
ai-053Bước 4Trung bình
Kiểm Định Tham Số Tool Calling Chuẩn JSON Schema Cho Function Calling
1. Required fields: Mọi trường trong danh sách required phải có mặt trong arguments.
ai-054Bước 5Trung bình
Quản Lý Bộ Nhớ Hội Thoại Trượt Giới Hạn Token & Tóm Tắt (Memory Buffer)
{"role": "system", "content": f"Summary of previous conversation: {summary_text}"} đặt ngay sau tin nhắn system ban đầu.
Kết hợp kỹ thuật
Phối hợp hai kỹ thuật trong cùng một lời giải.
ai-055Bước 6Trung bình
Định Dạng Luồng Dữ Liệu SSE (Server-Sent Events) Chuẩn OpenAI
data: {"id": "chatcmpl-123", "object": "chat.completion.chunk", "created": 1700000000, "model": "ai-empire-llm", "choices": [{"index": 0, "delta": {"content": "text_chunk"}, "finis…
ai-117Bước 7Trung bình
Lượng Tử Hóa Sau Huấn Luyện (PTQ) – Ánh Xạ Tensor Float32 Sang INT8
xq = round(xs + z), xq ∈ [0, 255]
ai-119Bước 8Trung bình
Cắt Tỉa Trọng Số (Magnitude Pruning) – Unstructured Sparsity
Pruning loại bỏ các trọng số nhỏ nhất để tạo mô hình thưa. Unstructured pruning zeroing out từng weight riêng lẻ dựa trên biên độ (|weight|).
ai-127Bước 9Trung bình
Feature Store Pipeline – Chuẩn Hóa, One-Hot Encoding Và Train/Test Split
ML Pipeline cần xử lý nhiều loại feature khác nhau một cách nhất quán.
ai-129Bước 10Trung bình
Phát Hiện Data Drift – Population Stability Index (PSI)
PSI = ∑i (Pi - Qi) · lnPiQi
Thành thạo
Bài dài hơn, cần chọn đúng cấu trúc dữ liệu.
ai-130Bước 11Trung bình
A/B Testing – Kiểm Định Thống Kê Cho Thử Nghiệm Mô Hình ML
z = pA - pB√(p(1-p)(1nA + 1nB))
ai-131Bước 12Trung bình
Hệ Thống Metrics Monitoring Cho ML Model – Latency, Throughput, Error Rate
Production ML cần monitor 4 tín hiệu vàng: latency, throughput, error rate, saturation.
ai-133Bước 13Trung bình
Checkpoint Mô Hình – Lưu Và Khôi Phục Trạng Thái Huấn Luyện
Checkpoint phải lưu đủ thông tin để tiếp tục huấn luyện chính xác.
ai-134Bước 14Trung bình
Model Registry – Quản Lý Phiên Bản Và So Sánh Model Experiments
Model Registry theo dõi tất cả thí nghiệm, metrics và artifacts.
ai-118Bước 15Trung bình
Chắt Lọc Tri Thức (Knowledge Distillation) – Hàm Mất Mát Soft Targets
Knowledge Distillation (Hinton 2015) huấn luyện student model học từ teacher model bằng cách dùng *soft labels* (xác suất mềm) thay vì hard labels (one-hot).
Nâng cao 9 bài
Thử thách
Thuật toán chuyên sâu: quy hoạch động, đồ thị, cây.
ai-052Bước 1Nâng cao
Phân Tích & Điều Phối Vòng Lặp Agent ReAct (Reasoning + Acting)
Thought: <nội dung suy luận>
ai-056Bước 2Nâng cao
Hàng Rào Bảo Vệ LLM (Prompt Injection & Khử Nhận Dạng PII)
1. Prompt Injection Detector: Phát hiện các cụm từ tấn công phổ biến (không phân biệt hoa thường):
ai-121Bước 3Nâng cao
Huấn Luyện Độ Chính Xác Hỗn Hợp (Mixed Precision) – Dynamic Loss Scaling
FP16 có range nhỏ hơn FP32, dễ bị underflow gradient. Loss scaling nhân loss với factor lớn S trước khi backward, sau đó chia gradient cho S.
ai-135Bước 4Nâng cao
Online Learning – Cập Nhật Mô Hình Liên Tục Với Streaming Data
Online learning cập nhật mô hình tức thời sau mỗi sample, không cần lưu toàn bộ dữ liệu.
ai-136Bước 5Nâng cao
Dynamic Batching Cho Inference – Tối Ưu Throughput Và Latency
Dynamic batching gom nhiều request riêng lẻ thành một batch để tận dụng GPU parallelism.
Chuyên sâu
Cấu trúc dữ liệu nâng cao và nhiều bước chứng minh.
ai-132Bước 6Nâng cao
Huấn Luyện Phân Tán – Data Parallelism Và Gradient Accumulation
1. Chia effective_batch_size thành accumulation_steps mini-batches
ai-122Bước 7Nâng cao
Cắt Tỉa Attention Head – Điểm Quan Trọng Taylor Expansion
Không phải mọi attention head đều quan trọng. Điểm quan trọng Taylor bậc nhất:
ai-124Bước 8Nâng cao
QLoRA – Lượng Tử Hóa Kép (Double Quantization) Và NF4
QLoRA đề xuất hai kỹ thuật tiết kiệm bộ nhớ:
ai-125Bước 9Nâng cao
Token Merging (ToMe) – Gộp Token Để Tăng Tốc Vision Transformer
Token Merging (ToMe) giảm số lượng token bằng cách gộp các token giống nhau.