Adapter Tuning – Bottleneck Layer Cho Fine-Tuning Hiệu Quả

Mục tiêu kiến thức

Adapter chèn bottleneck layers nhỏ sau mỗi Transformer sub-layer: Adapter(h) = h + W_up · f(W_down · h)

Trong đó:

• W_down ∈ R^{r × d}: down-projection (giảm chiều)
• f: activation function (thường là GeLU)
• W_up ∈ R^{d × r}: up-projection
• Residual connection để khởi đầu gần identity

Yêu cầu

class AdapterLayer(nn.Module):
    def __init__(self, d_model: int, bottleneck_dim: int, activation: str = "gelu"):
        pass
    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # x: [B, T, d_model]
        pass
    def parameter_reduction_ratio(self) -> float:
        # (d * d) / (2 * d * r) - compare to full fine-tuning
        pass

Ràng buộc

• Thời gian chạy tối đa: 5000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.