Tích Lũy Gradient Thưa và Cập Nhật SGD Ma Trận Embedding (Sparse Embedding Gradient Accumulation)
Khi huấn luyện các mô hình ngôn ngữ lớn với từ điển lên đến 32,000 – 128,000 token, việc lưu trữ một ma trận gradient dày ∇W ∈ RV × D cho mỗi bước tốn hàng trăm megabyte bộ
Tiến độ của tôi ở bài này
Điểm và code bạn nộp được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: embedding-lookup-table-from-scratch.
Nội dung đề bài
Mô tả bài toán
Khi huấn luyện các mô hình ngôn ngữ lớn với từ điển lên đến 32,000 – 128,000 token, việc lưu trữ một ma trận gradient dày ∇W ∈ RV × D cho mỗi bước tốn hàng trăm megabyte bộ nhớ vô ích, bởi vì mỗi mini-batch chỉ chứa vài trăm token duy nhất.
Thuật toán Sparse Embedding Gradient gom nhóm các token xuất hiện trong batch, tính tổng gradient cho từng token duy nhất, và chỉ cập nhật đúng các hàng đó trong ma trận trọng số.
Yêu cầu
- Viết hàm extract_unique_token_gradients(token_ids: np.ndarray, grad_outputs: np.ndarray) -> tuple[np.ndarray, np.ndarray]:
- token_ids: Mảng 1D số nguyên shape (N,) chứa danh sách các ID token được truy vấn (có thể có token lặp lại).
- grad_outputs: Mảng 2D float shape (N, D) chứa gradient tương ứng cho mỗi token.
- Trả về tuple (unique_ids, accumulated_grads):
- unique_ids: Mảng 1D chứa các ID token duy nhất, bắt buộc sắp xếp tăng dần.
- accumulated_grads: Mảng 2D shape (K, D) chứa tổng gradient tích lũy tương ứng cho từng ID duy nhất trong unique_ids.
- Viết hàm apply_sparse_embedding_update(weight_matrix: np.ndarray, unique_ids: np.ndarray, accumulated_grads: np.ndarray, lr: float) -> np.ndarray:
- Cập nhật trực tiếp tại chỗ (in-place) ma trận trọng số W:
W[id] arrow W[id] - lr × grad
- Trả về chính weight_matrix.
Input
- Hàm extract_unique_token_gradients(token_ids, grad_outputs): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
- Hàm apply_sparse_embedding_update(weight_matrix, unique_ids, accumulated_grads, lr): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm extract_unique_token_gradients: Trả về kết quả kiểu tuple[np.ndarray, np.ndarray] theo đúng đặc tả kỹ thuật và kích thước quy định.
- Hàm apply_sparse_embedding_update: Trả về kết quả kiểu np.ndarray theo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
tokens = np.array([2, 0, 2, 2])
grads = np.array([[1.0, 1.0], [5.0, 5.0], [2.0, 3.0], [3.0, 4.0]])
unique_ids, acc_grads = extract_unique_token_gradients(tokens, grads)W = np.zeros((5, 2), dtype=np.float64)
unique_ids = np.array([1, 3])
acc_grads = np.array([[2.0, 4.0], [10.0, 20.0]])
lr = 0.1
updated_W = apply_sparse_embedding_update(W, unique_ids, acc_grads, lr)Output
([0, 2], [[5., 5.],
[6., 8.]])[[ 0. , 0. ],
[-0.2, -0.4],
[ 0. , 0. ],
[-1. , -2. ],
[ 0. , 0. ]]Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.
