案例应聘网络营销做网站推广,乐清建设公司网站,网站优化收费,农业科技工作服务站建站模板1.transformer
transformer
self-attention 当前编码的词和整个句子所有词做attention#xff0c;权重加在所有句子上获得当前的表示 encoder-decoder-attention 当前解码的单元和编码器的所有输出做attention#xff0c;权重加在所有编码输出上#xff0c;获得当前的表示…1.transformer
transformer
self-attention 当前编码的词和整个句子所有词做attention权重加在所有句子上获得当前的表示 encoder-decoder-attention 当前解码的单元和编码器的所有输出做attention权重加在所有编码输出上获得当前的表示
1.1 self-attention
单头 多头
1.2 残差 2.Bert
Bert-
