Tuần tự hóa và khôi phục từ điển (Vocabulary Serialization & Deserialization)

Mô tả bài toán

Để sử dụng mô hình trong thực tế hoặc triển khai inference server, từ điển của tokenizer bắt buộc phải được lưu trữ và tải lại một cách an toàn và nhất quán.

Hãy viết 2 hàm:

• serialize_vocab(vocab: dict[str, int], special_tokens: dict[str, int], model_type: str = "bpe") -> str:
• Kiểm tra tính hợp lệ:
• Không được có ID trùng lặp giữa các từ trong vocab và special_tokens.
• ID phải là các số nguyên không âm.
• Nếu không hợp lệ, raise ValueError.
• Trả về chuỗi định dạng JSON chuẩn (indent=2) có cấu trúc:

     {
       "model_type": "bpe",
       "vocab_size": 100,
       "special_tokens": { ... },
       "vocab": { ... }
     }

• deserialize_vocab(json_str: str) -> tuple[dict[str, int], dict[str, int], str]:
• Đọc và xác minh chuỗi JSON:
• Phải có đủ 4 khóa: "model_type", "vocab_size", "special_tokens", "vocab".
• vocab_size phải khớp với tổng số token duy nhất (len(set(vocab.values()) | set(special_tokens.values()))).
• Nếu chuỗi JSON sai cú pháp hoặc vi phạm cấu trúc trên, raise ValueError.
• Trả về tuple (vocab, special_tokens, model_type).

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.