ai-077Bước 1Trung bình
Cài Đặt Tế Bào Mạng Nơ-ron Hồi Quy (Vanilla RNN Cell) Từ Gốc
Tại mỗi bước thời gian t, tế bào nhận vector đầu vào xt ∈ RB × Din và vector trạng thái ẩn trước đó ht-1 ∈ R^{B × Dhidden…
CHUYÊN ĐỀ AI THỰC CHIẾN
Bài tập Mô hình tuần tự RNN & Mạng LSTM trong PyTorch
Dữ liệu văn bản, âm thanh và chuỗi thời gian luôn phụ thuộc vào thứ tự xuất hiện. Luyện tập cách duy trì bộ nhớ ẩn (hidden state) qua từng bước thời gian.
9
bài tập có chấm code
Bài tập theo chuyên đề, có đề bài, ví dụ và starter code riêng.
0
cơ bản
Củng cố nền tảng và làm quen với kỹ thuật cốt lõi.
4
trung bình
Kết hợp nhiều bước suy luận để vận dụng kiến thức.
5
nâng cao
Thử thách tối ưu, cấu trúc dữ liệu và thuật toán chuyên sâu.
Lộ trình thực hành đề xuất
Bước 1
Mạng RNN từ số 0
Cập nhật trạng thái ẩn ht = tanh(Whh * ht-1 + Wxh * xt) qua từng bước thời gian.
Bước 2
Cổng nhớ LSTM
Cài đặt Cell State, cổng quên Forget Gate, cổng vào Input Gate và cổng ra Output Gate.
Bước 3
Dự đoán chuỗi thời gian
Mô hình hóa bài toán dự báo chuỗi số liệu tương lai từ lịch sử quá khứ.
Lỗi thường gặp & Cách phòng tránh
•
Hiện tượng bùng nổ gradient khi chuỗi quá dài (cần áp dụng gradient clipping by norm).
•
Khởi tạo sai kích thước hidden state ban đầu h0 (cần đúng shape [num_layers, batch_size, hidden_dim]).
Danh sách bài tập thực hành (9 bài)
Trong mỗi mức độ, bài tập được xếp từ dễ nhất đến khó nhất — hãy đi theo số bước.
Trung bình 4 bài
ai-079Bước 2Trung bình
Cài Đặt Tế Bào Cổng Hồi Quy (GRU Cell - Cho et al.) Tối Giản Hóa
1. Gộp ct và ht thành một vector trạng thái ẩn ht duy nhất.
ai-080Bước 3Trung bình
Bộ Bao Đóng Mạng Hồi Quy Hai Chiều (Bidirectional RNN Wrapper)
Mỗi từ cần hiểu cả ngữ cảnh quá khứ (phía trước) và tương lai (phía sau).
ai-084Bước 4Trung bình
Sai Phân Chuỗi Thời Gian (Time-Series Differencing) Đạt Tính Dừng
Δd xt = xt - xt-d (t ≥ d)
Nâng cao 5 bài
ai-082Bước 1Nâng cao
Ma Trận Bộ Lọc Tần Số Mel (Mel Filterbank) Cho Xử Lý Tín Hiệu Âm Thanh
m = 2595 · log10(1 + f700)
ai-083Bước 2Nâng cao
Tích Chập Nhân Quả Giãn Nở (Causal Dilated Conv1D) WaveNet
1. Tính nhân quả (Causality): Đầu ra tại thời điểm t chỉ được phép phụ thuộc vào các bước thời gian t, t-1, t-2, …, tuyệt đối KHÔNG được nhìn vào tương lai t+1, t+2.
ai-078Bước 3Nâng cao
Cài Đặt Tế Bào Bộ Nhớ Dài-Ngắn (LSTM Cell - Hochreiter & Schmidhuber)
1. Cổng quên (Forget Gate): ft = σ(xt Wf + ht-1 Uf + bf)
ai-081Bước 4Nâng cao
Hàm Mất Mát Căn Chỉnh Thời Gian CTC (Connectionist Temporal Classification)
1. Thêm một ký tự trống đặc biệt blank (thường index = 0).
ai-086Bước 5Nâng cao
Khoảng Cách Biến Dạng Thời Gian Động (Dynamic Time Warping - DTW)
D[i, j] = |xi - yj| + min(D[i-1, j], D[i, j-1], D[i-1, j-1])