Đăng ký
ai-232Đọc toàn bộ đề miễn phí

Tuần tự hóa định dạng file tiêu chuẩn OpenAI/HuggingFace (vocab.json & merges.txt)

Trong hệ sinh thái Hugging Face transformers và OpenAI GPT-2, bộ tokenizer BPE được lưu trữ bằng đúng 2 file:

AITrung bình30 phút

Tiến độ của tôi ở bài này

Điểm được lưu vào tài khoản sau khi chấm bài.

Đang tải điểm của bạn…

Kiến thức và chủ đề

serializationbpevocab.jsonmerges.txthuggingface

Kiến thức tiên quyết: bpe-training-loop-merge-rules.

Nội dung đề bài

Mô tả bài toán

Trong hệ sinh thái Hugging Face transformers và OpenAI GPT-2, bộ tokenizer BPE được lưu trữ bằng đúng 2 file:

  • merges.txt:
  • Dòng 1: header phiên bản bắt buộc #version: 0.2.
  • Các dòng tiếp theo: mỗi dòng là một cặp ký hiệu được phân tách bằng một dấu cách duy nhất: piece1 piece2.
  • vocab.json:
  • Dictionary JSON ánh xạ từ chuỗi token sang chỉ số nguyên ID: {"token_str": id}.

Hãy viết 2 hàm:

  • export_bpe_files(vocab: dict[str, int], merges: list[tuple[str, str]]) -> tuple[str, str]:
  • Trả về tuple (vocab_json_content, merges_txt_content) dưới dạng chuỗi UTF-8.
  • import_bpe_files(vocab_json_content: str, merges_txt_content: str) -> tuple[dict[str, int], list[tuple[str, str]]]:
  • Đọc và xác thực nội dung hai file:
  • merges.txt phải có dòng đầu bắt đầu bằng #version:. Các dòng sau phải có đúng 2 phần tử tách nhau bởi dấu cách.
  • vocab.json phải là JSON object hợp lệ.
  • Nếu không thỏa mãn, raise ValueError.
  • Trả về tuple (vocab, merges).

Input

  • Hàm export_bpe_files(vocab, merges): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
  • Hàm import_bpe_files(vocab_json_content, merges_txt_content): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.

Output

  • Hàm export_bpe_files: Trả về kết quả kiểu tuple[str, str] theo đúng đặc tả kỹ thuật và kích thước quy định.
  • Hàm import_bpe_files: Trả về kết quả kiểu tuple[dict[str, int], list[tuple[str, str]]] theo đúng đặc tả kỹ thuật và kích thước quy định.

Ràng buộc

  • Thời gian chạy tối đa: 6000ms.
  • Giới hạn bộ nhớ: 512MB.
  • Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.

Ví dụ 1

Input

vocab = {'<unk>': 0, 'h': 1, 'e': 2, 'he': 3}
merges = [('h', 'e')]
v_json, m_txt = export_bpe_files(vocab, merges)
loaded_vocab, loaded_merges = import_bpe_files(v_json, m_txt)

Output

({
  '<unk>': 0,
  'h': 1,
  'e': 2,
  'he': 3
}, [('h', 'e')])

Giải thích

Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.

3 cấp độ gợi ýMở dần khi bạn thật sự cần hỗ trợ.
Phân tích lời giảiGiải thích hướng tư duy và thuật toán.
Code tham khảoDùng để đối chiếu sau khi tự làm.

Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.

Bài tập liên quan cùng chuyên đề

Thực hiện một bước gộp cặp ký hiệu BPE (BPE Single Merge Step)
Trung bình30p
Tuần tự hóa và khôi phục từ điển (Vocabulary Serialization & Deserialization)
Trung bình30p
Tối ưu hóa thuật toán gộp BPE (Fast Linked-List / Priority Queue BPE)
Nâng cao30p
Giải thuật mã hóa BPE khi suy luận (BPE Inference Encoding Algorithm)
Nâng cao30p

Góp ý & báo lỗi bài tập

Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.