QLoRA – Lượng Tử Hóa Kép (Double Quantization) Và NF4

Mục tiêu kiến thức

QLoRA đề xuất hai kỹ thuật tiết kiệm bộ nhớ:

1. NF4 (NormalFloat4)

4-bit data type được thiết kế cho trọng số phân phối chuẩn. NF4 có 16 mức lượng tử hóa tối ưu cho phân phối chuẩn chuẩn N(0,1).

Các mức NF4 (q_i cho i=0..15) là các quantile của phân phối chuẩn N(0,1): q_i = Phi^-1(i + 0.516) cho i = 0..15 Chuẩn hóa về [-1, 1].

2. Double Quantization

Lượng tử hóa cả quantization constants (scales) ở bước 2.

Yêu cầu

def compute_nf4_levels(num_levels: int = 16) -> np.ndarray:
    # Returns sorted NF4 quantization levels in [-1, 1]
    pass

def nf4_quantize(x: np.ndarray, nf4_levels: np.ndarray) -> np.ndarray:
    # Round each value in x to nearest NF4 level (after scaling to [-1, 1])
    pass

Ràng buộc

• Thời gian chạy tối đa: 5000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.