Cắt và Dịch Chuyển Đầu Vào - Mục Tiêu Tự Hồi Quy (Causal Next-Token Target Shifting)
Trong bài toán mô hình hóa ngôn ngữ tự hồi quy (Autoregressive Language Modeling) như GPT, mô hình được huấn luyện để dự đoán token tiếp theo tại mỗi bước thời gian:
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: embedding-lookup-table-from-scratch.
Nội dung đề bài
Mô tả bài toán
Trong bài toán mô hình hóa ngôn ngữ tự hồi quy (Autoregressive Language Modeling) như GPT, mô hình được huấn luyện để dự đoán token tiếp theo tại mỗi bước thời gian:
Cho một chuỗi token có độ dài L (L ≥ 2): T = [t0, t1, t2, …, tL-1]
Cặp tensor đầu vào (input) và mục tiêu (target/label) được tạo ra bằng kỹ thuật dịch chuyển 1 bước thời gian (time-shift):
- Đầu vào: x = [t0, t1, …, tL-2] (bỏ token cuối cùng)
- Mục tiêu: y = [t1, t2, …, tL-1] (bỏ token đầu tiên)
Tại mỗi vị trí i, mục tiêu tương ứng là yi = xi+1, nghĩa là mô hình dựa vào ngữ cảnh x0..i để dự đoán token kế tiếp.
Yêu cầu kỹ thuật:
Viết hàm shift_input_target(token_ids: np.ndarray) -> tuple[np.ndarray, np.ndarray]:
token_ids: Mảng NumPy số nguyên 1D (L,) hoặc 2D (B, L).- Kiểm tra điều kiện: Độ dài chuỗi L (chiều cuối cùng) phải ≥ 2. Nếu L < 2, ném ngoại lệ
ValueError("Sequence length must be at least 2 to shift"). - Trả về tuple
(inputs, targets): inputs: Lấy từ đầu đến áp chót (... , :-1).targets: Lấy từ vị trí thứ 1 đến hết (... , 1:).- Bảo toàn đúng kiểu dữ liệu (
dtype) và số chiều của mảng ban đầu.
Input
- Hàm
shift_input_target(token_ids): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
shift_input_target: Trả về kết quả kiểutuple[np.ndarray, np.ndarray]theo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
tokens = np.array([101, 2054, 2003, 1037, 102])
shift_input_target(tokens)Output
([ 101, 2054, 2003, 1037], [2054, 2003, 1037, 102])Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
batch = np.array([[1, 2, 3, 4], [10, 20, 30, 40]])
shift_input_target(batch)Output
([[ 1, 2, 3],
[10, 20, 30]], [[ 2, 3, 4],
[20, 30, 40]])Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.