Self-attention 01,1 k1 a1,1=k1 41,2=k2 01,2 01,3 k3 13=k3q 1,4=k4 q 01,4 k4 01,1 012 01,3 01,4 k3 q 22 𝒗 𝟏 𝒌 𝟏 𝒒 𝟏 𝒗 𝟐 𝒌 𝟐 𝒒 𝟐 𝒗 𝟑 𝒌 𝟑 𝒒 𝟑 𝒗 𝟒 𝒌 𝟒 𝒒 𝟒 Self-attention 𝛼1,1 = 𝒒 𝟏 𝒌 𝟏 𝛼1,2 = 𝒒 𝟏 𝒌 𝟐 𝛼1,3 = 𝒒 𝟏 𝒌 𝟑 𝛼1,4 = 𝒒 𝟏 𝒌 𝟒 𝒒 𝟏 𝒌 𝟏 𝒌 𝟐 𝒌 𝟑 𝒌 𝟒 = 𝛼1,1 𝛼1,2 𝛼1,3 𝛼1,4 𝛼1,1 𝛼1,2 𝛼1,3 𝛼1,4 22