Tokenization BPE Từ Đầu – Byte Pair Encoding

Mục tiêu kiến thức

Byte Pair Encoding (BPE) là thuật toán tokenization phổ biến nhất trong LLMs (GPT-2, GPT-3, LLaMA).

Thuật toán BPE:

• Khởi tạo vocabulary = tất cả ký tự đơn + ký hiệu kết thúc </w>
• Lặp num_merges lần:

a. Tìm cặp token liền kề xuất hiện nhiều nhất trong corpus b. Ghép cặp đó thành 1 token mới c. Thêm merge rule vào danh sách

Encode: áp dụng merge rules theo thứ tự để tokenize text mới.

Yêu cầu

def get_vocab(corpus: list[str]) -> dict:
    # Split each word into chars + '</w>', count frequencies
    # e.g. 'low': {'l o w </w>': 5}
    pass

def get_stats(vocab: dict) -> dict:
    # Count adjacent pair frequencies across all words
    pass

def merge_vocab(pair: tuple, vocab: dict) -> dict:
    # Merge pair into single token in vocab
    pass

def train_bpe(corpus: list[str], num_merges: int) -> list[tuple]:
    # Returns ordered list of merge rules (pairs)
    pass

def encode_bpe(text: str, merges: list[tuple]) -> list[str]:
    # Tokenize text using learned merges
    pass

Ràng buộc

• Thời gian chạy tối đa: 5000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.