科技比標準Attention快197倍!Meta推出多頭注意力機制“九頭蛇”2022-09-19 TAG: 注意力HydraMETAAttention模型)Hydra Attention的思路源於線性注意力中的一種有點矛盾的點:使用標準的多頭自注意力,再向模型中新增更多頭可以保持計算量不變...More Detail