Self-attention 01,1 k1 01,1= k 01,2= k2 2 01,3 k3 1,3=k3 q Q1,4=k4 01,4 k4 02,1 2,2 02,3 02,4 q k 01,1 2,1 03,1 @4.1 01,1 02,1 03,1 04,1 k1 a2,2 3,2 4,2 01,2 02,2 03,2 04,2 2 a, .3 03,3 04,3 01,3 02,3 03,3 04,3 a44 03,4 .4 01,4 02,4 034 C4,4 k4 Q A softmax A KT 23Self-attention 𝒗 𝟏 𝒌 𝟏 𝒒 𝟏 𝒗 𝟐 𝒌 𝟐 𝒒 𝟐 𝒗 𝟑 𝒌 𝟑 𝒒 𝟑 𝒗 𝟒 𝒌 𝟒 𝒒 𝟒 𝒒 𝟏 𝒌 𝟏 𝒌 𝟐 𝒌 𝟑 𝒌 𝟒 = 𝛼1,1 𝛼1,2 𝛼1,3 𝛼1,4 𝒒 𝟐 𝛼2,1 𝛼2,2 𝛼2,3 𝛼2,4 𝛼3,1 𝛼3,2 𝛼3,3 𝛼3,4 𝛼4,1 𝛼4,2 𝛼4,3 𝛼4,4 𝐾 𝑇 𝐴 𝑄 𝒒 𝟑 𝒒 𝟒 𝛼1,1 ′ 𝛼1,2 ′ 𝛼1,3 ′ 𝛼1,4 ′ 𝛼2,1 ′ 𝛼2,2 ′ 𝛼2,3 ′ 𝛼2,4 ′ 𝛼3,1 ′ 𝛼3,2 ′ 𝛼3,3 ′ 𝛼3,4 ′ 𝛼4,1 ′ 𝛼4,2 ′ 𝛼4,3 ′ 𝛼4,4 ′ 𝐴′ 𝛼1,1 = 𝒒 𝟏 𝒌 𝟏 𝛼1,2 = 𝒒 𝟏 𝒌 𝟐 𝛼1,3 = 𝒒 𝟏 𝒌 𝟑 𝛼1,4 = 𝒒 𝟏 𝒌 𝟒 𝒒 𝟏 𝒌 𝟏 𝒌 𝟐 𝒌 𝟑 𝒌 𝟒 = 𝛼1,1 𝛼1,2 𝛼1,3 𝛼1,4 𝛼2,1 𝛼2,2 𝛼2,3 𝛼2,4 softmax 23