【ML】自注意力机制selfattention
- 1. input vetor /graph/
- 2. output
- 3. self-attention 如何计算
- 4. 从矩阵乘法 看 self-attention
1. input vetor /graph/
2. output
3. self-attention 如何计算
a1 a2 a3 a4 (代表输入的句子：比如 this is a tree)
计算出来的结果 称作 attention score ，其中四个相关性中的第一个为自相关性计算
4. 从矩阵乘法 看 self-attention
这里面I 是input 具体的内容为 this is a tree
所以 这里 self-attention 输入是 I 输出是 O
