WordPiece Tokenization – Phong Cách BERT

Mục tiêu kiến thức

BERT dùng WordPiece khác BPE: prefix ## đánh dấu subword tiếp theo (không phải đầu từ).

WordPiece Encoding (greedy longest-match):

• Với mỗi từ, thử ghép ký tự dài nhất match với vocab
• Phần còn lại: prefix ## + tiếp tục greedy match
• Nếu có ký tự không match: trả về [UNK]

Yêu cầu

def wordpiece_encode(word: str, vocab: set) -> list[str]:
    # Returns list of subword tokens with ## prefix
    # Returns ['[UNK]'] if any character not in vocab
    pass

def wordpiece_decode(tokens: list[str]) -> str:
    # Reverse: remove ## prefixes to reconstruct text
    pass

Ràng buộc

• Thời gian chạy tối đa: 5000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.