Tích Lũy Gradient Thưa và Cập Nhật SGD Ma Trận Embedding (Sparse Embedding Gradient Accumulation)
Khi huấn luyện các mô hình ngôn ngữ lớn với từ điển lên đến 32,000 – 128,000 token, việc lưu trữ một ma trận gradient dày ∇W ∈ RV × D cho mỗi bước tốn hàng…
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: embedding-lookup-table-from-scratch.
Nội dung đề bài
Mô tả bài toán
Khi huấn luyện các mô hình ngôn ngữ lớn với từ điển lên đến 32,000 – 128,000 token, việc lưu trữ một ma trận gradient dày ∇W ∈ RV × D cho mỗi bước tốn hàng trăm megabyte bộ nhớ vô ích, bởi vì mỗi mini-batch chỉ chứa vài trăm token duy nhất.
Thuật toán Sparse Embedding Gradient gom nhóm các token xuất hiện trong batch, tính tổng gradient cho từng token duy nhất, và chỉ cập nhật đúng các hàng đó trong ma trận trọng số.
Yêu cầu kỹ thuật:
- Viết hàm
extract_unique_token_gradients(token_ids: np.ndarray, grad_outputs: np.ndarray) -> tuple[np.ndarray, np.ndarray]: token_ids: Mảng 1D số nguyên shape (N,) chứa danh sách các ID token được truy vấn (có thể có token lặp lại).grad_outputs: Mảng 2D float shape (N, D) chứa gradient tương ứng cho mỗi token.- Trả về tuple
(unique_ids, accumulated_grads): unique_ids: Mảng 1D chứa các ID token duy nhất, bắt buộc sắp xếp tăng dần.accumulated_grads: Mảng 2D shape (K, D) chứa tổng gradient tích lũy tương ứng cho từng ID duy nhất trongunique_ids.- Viết hàm
apply_sparse_embedding_update(weight_matrix: np.ndarray, unique_ids: np.ndarray, accumulated_grads: np.ndarray, lr: float) -> np.ndarray: - Cập nhật trực tiếp tại chỗ (in-place) ma trận trọng số W:
W[id] ← W[id] - lr × grad
- Trả về chính
weight_matrix.
Input
- Hàm
extract_unique_token_gradients(token_ids,grad_outputs): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng. - Hàm
apply_sparse_embedding_update(weight_matrix,unique_ids,accumulated_grads,lr): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
extract_unique_token_gradients: Trả về kết quả kiểutuple[np.ndarray, np.ndarray]theo đúng đặc tả kỹ thuật và kích thước quy định. - Hàm
apply_sparse_embedding_update: Trả về kết quả kiểunp.ndarraytheo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
tokens = np.array([2, 0, 2, 2])
grads = np.array([[1.0, 1.0], [5.0, 5.0], [2.0, 3.0], [3.0, 4.0]])
unique_ids, acc_grads = extract_unique_token_gradients(tokens, grads)Output
([0, 2], [[5., 5.],
[6., 8.]])Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
W = np.zeros((5, 2), dtype=np.float64)
unique_ids = np.array([1, 3])
acc_grads = np.array([[2.0, 4.0], [10.0, 20.0]])
lr = 0.1
updated_W = apply_sparse_embedding_update(W, unique_ids, acc_grads, lr)Output
[[ 0. , 0. ],
[-0.2, -0.4],
[ 0. , 0. ],
[-1. , -2. ],
[ 0. , 0. ]]Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.