LoRA Từ Đầu – Low-Rank Adaptation Cho Fine-Tuning LLM

Mục tiêu kiến thức

LoRA thêm hai ma trận hạng thấp A ∈ R^{r × d_in} và B ∈ R^{d_out × r}: Delta W = B · A W' = W₀ + alphar · B · A

Trong đó:

• W₀: frozen pre-trained weight
• A: khởi tạo Gaussian random, B: khởi tạo zero (nên Delta W = 0 lúc đầu)
• alpha: LoRA scaling factor
• Chỉ train A và B (~2dr tham số thay vì d²)

Yêu cầu

class LoRALinear(nn.Module):
    def __init__(self, in_features, out_features, rank=4, alpha=1.0, bias=True):
        # Frozen W0, trainable A (r, in_f) and B (out_f, r)
        pass
    def forward(self, x: torch.Tensor) -> torch.Tensor:
        pass
    def merge_weights(self) -> None:
        # Merge LoRA into W0: W0 += (alpha/r) * B @ A
        pass
    def lora_parameters_count(self) -> int:
        # Count only LoRA trainable params (A + B, not W0)
        pass

Ràng buộc

• Thời gian chạy tối đa: 5000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.