Cài Đặt Lớp Tuyến Tính LoRA (Low-Rank Adaptation) Từ Gốc

Mục tiêu kiến thức

• Hiểu cơ chế Parameter-Efficient Fine-Tuning (PEFT) của LoRA (Hu et al., 2021):
• Khi fine-tune mô hình ngôn ngữ lớn (LLM), việc cập nhật toàn bộ trọng số gốc W₀ ∈ R^{d_out × d_in} rất tốn kém VRAM và bộ nhớ lưu trữ.
• LoRA giả định ma trận biến thiên trọng số Δ W có rank nội tại thấp (low intrinsic rank r ll min(d_in, d_out)).
• Phân rã Δ W = αr (B × A), trong đó A ∈ R^{r × d_in} và B ∈ R^{d_out × r}.
• Công thức lan truyền xuôi:

h = x W₀^T + b + αr (x A^T B^T)

• Trọng số gốc W₀ bị đóng băng hoàn toàn (requires_grad = False).
• Khởi tạo: A ∼ N(0, σ²) (hoặc Kaiming uniform), B = 0 để khi bắt đầu huấn luyện Δ W = 0, mô hình hoạt động hệt như ban đầu.

Yêu cầu

Xây dựng lớp LoRALinear(torch.nn.Module):

import torch
import torch.nn as nn

class LoRALinear(nn.Module):
    def __init__(self, in_features: int, out_features: int, r: int = 8, lora_alpha: float = 16.0, bias: bool = True):
        pass

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        pass

    @property
    def delta_weight(self) -> torch.Tensor:
        pass

• Thuộc tính bắt buộc:
• self.weight: nn.Parameter kích thước (out_features, in_features), requires_grad=False.
• self.lora_A: nn.Parameter kích thước (r, in_features), requires_grad=True.
• self.lora_B: nn.Parameter kích thước (out_features, r), requires_grad=True, khởi tạo toàn số 0.
• self.scaling: Hằng số float bằng lora_alpha / r.
• Thuộc tính delta_weight: Trả về tensor (out_features, in_features) tính bởi self.scaling * (self.lora_B @ self.lora_A).

Ràng buộc

• Thời gian chạy tối đa: 3000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.