Self-attention ii=exp(ai)/∑，exp(a） a41 a1,2 01,4 Soft-max 01,1 01,2 013 01,4 Q3 q1 Waa1 k2 Wka2 k3 Wka3 k4=Wka4 k1 Wkal 17𝒒 𝟏 𝒌 𝟐 Self-attention 𝒂 𝟒 𝒂 𝟑 𝒂 𝟐 𝒂 𝟏 𝒒 𝟏 = 𝑊𝑞𝒂 𝟏 𝒌 𝟑 𝒌 𝟒 𝒌 𝟐 = 𝑊𝑘𝒂 𝟐 𝒌 𝟑 = 𝑊𝑘𝒂 𝟑 𝒌 𝟒 = 𝑊𝑘𝒂 𝟒 𝛼1,2 𝛼1,3 𝛼1,4 𝒌 𝟏 𝒌 𝟏 = 𝑊𝑘𝒂 𝟏 𝛼1,1 Soft-max 𝛼1,1 ′ 𝛼1,2 ′ 𝛼1,3 ′ 𝛼1,4 ′ 𝛼1,𝑖 ′ = 𝑒𝑥𝑝 𝛼1,𝑖 /෍𝑗 𝑒𝑥𝑝 𝛼1,𝑗 17