Ánh xạ 256 bytes sang ký tự Unicode nhìn thấy được (GPT-2 Byte-to-Unicode Bijective Mapping)

Mô tả bài toán

Thuật toán BPE nguyên bản hoạt động trên chuỗi Unicode ký tự, dẫn đến kích thước từ điển cơ sở ban đầu rất lớn (hàng chục nghìn ký tự cho tiếng Trung, Nhật, Ả Rập, emoji).

Radford et al. (GPT-2, 2019) đề xuất Byte-Level BPE:

• Mọi văn bản được mã hóa thành chuỗi các bytes (0 … 255). Bất kỳ văn bản UTF-8 nào trên thế giới đều biểu diễn được từ 256 byte này ⇒ OOV Rate bằng 0% tuyệt đối!
• Tuy nhiên, nhiều byte là ký tự điều khiển không in được (control characters như \x00, \n, \r) hoặc khoảng trắng. Nếu để nguyên, các thư viện BPE regex sẽ bị lỗi.
• Giải pháp: Ánh xạ 256 bytes sang 256 ký tự Unicode nhìn thấy được:
• Các byte in được thông thường:
• 33 ≤ b ≤ 126 (ký tự ASCII ! đến ~)
• 161 ≤ b ≤ 172 (ký tự Latin-1 ¡ đến ¬)
• 174 ≤ b ≤ 255 (ký tự Latin-1 ® đến ÿ)

được giữ nguyên ký tự tương ứng: b ↦ chr(b).

• Đối với tất cả các byte còn lại (ví dụ 0..32, 127..160, 173):

Ánh xạ tuần tự sang các ký tự Unicode mới bắt đầu từ mã 256 (2⁸): chr(256), chr(257), …

Hãy viết hàm bytes_to_unicode() -> dict[int, str]:

• Trả về dictionary ánh xạ đúng 256 số nguyên 0 … 255 sang 256 ký tự chuỗi có độ dài 1.
• Ánh xạ phải là song ánh (1-to-1): không có hai byte nào ánh xạ sang cùng một ký tự Unicode.

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.