Tầng Chú Ý Đồ Thị GAT (Veličković et al. ICLR 2018)

Mục tiêu kiến thức

• GCN sử dụng ma trận kề chuẩn hóa cố định A, gán trọng số đồng nhất cho mọi đỉnh láng giềng bất kể nội dung đặc trưng.
• Graph Attention Networks (GAT - Veličković et al. 2018):

Cho phép mỗi đỉnh học cách chú ý động (anisotropic attention) vào các đỉnh láng giềng quan trọng hơn:

• Chiếu đặc trưng: h'_i = W h_i.
• Tính điểm chú ý thô (Attention Coefficient):

e_ij = LeakyReLU( a^T [h'_i ∥ h'_j] ) (với a = [a_text{src} ∥ a_text{dst}] ∈ R^{2 d_out}, LeakyReLU slope = 0.2).

• Chuẩn hóa Softmax có mặt nạ chỉ trên tập láng giềng N_i:

α_ij = exp(e_ij)∑_{k ∈ Ni} exp(e_ik)

• Tổng hợp biểu diễn mới:

h_i^new = σ ( ∑_{j ∈ Ni} α_ij h'_j )

Yêu cầu

Xây dựng lớp GATLayer(torch.nn.Module):

class GATLayer(nn.Module):
    def __init__(self, in_features: int, out_features: int, negative_slope: float = 0.2):
        pass

    def forward(self, h: torch.Tensor, adj: torch.Tensor) -> torch.Tensor:
        # h: (N, in_features), adj: (N, N) binary mask (1 if edge exists or i==j, 0 otherwise)
        # Returns: (N, out_features)
        pass

• Áp dụng mặt nạ: Nếu A_ij = 0, gán e_ij = -10⁹ trước khi tính F.softmax(e, dim=-1).

Ràng buộc

• Thời gian chạy tối đa: 3000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.