Self-attention 01,1 012 13 04 一X k2 q k3 k4 03 04,1 bib2bibi 0 2 4 A 24 𝛼1,1 ′ 𝛼1,2 ′ 𝛼1,3 ′ 𝛼1,4 ′ 𝛼2,1 ′ 𝛼2,2 ′ 𝛼2,3 ′ 𝛼2,4 ′ 𝛼3,1 ′ 𝛼3,2 ′ 𝛼3,3 ′ 𝛼3,4 ′ 𝛼4,1 ′ 𝛼4,2 ′ 𝛼4,3 ′ 𝛼4,4 ′ Self-attention 𝑣 1 𝑘 1 𝑞 1 𝑣 2 𝑘 2 𝑞 2 𝑣 3 𝑘 3 𝑞 3 𝑣 4 𝑘 4 𝑞 4 𝐴′ 𝒗 𝟏 𝒗 𝟑𝒗 𝟒 𝒗 𝟐 𝑉 𝒃 = 𝟏𝒃 𝟐𝒃 𝟑𝒃 𝟒 O 𝒃 𝟏 24 𝛼1,1 ′ 𝛼1,2 ′ 𝛼1,3 ′ 𝛼1,4 ′