丽水专业网站制作公司,企业网页设计,网站被网站建设的人控制了,网站怎么上线首先LLM有3种架构#xff1a;Encoder-only、Decoder-only、encode-decode
整体情况
1、Encoder将可变长度的输入序列编码成一个固定长度的向量#xff0c;比如在bert中应用的encoder#xff0c;其实是输入和输出是等长的向量。通常情况下#xff0c;encoder是用来提取特征…首先LLM有3种架构Encoder-only、Decoder-only、encode-decode
整体情况
1、Encoder将可变长度的输入序列编码成一个固定长度的向量比如在bert中应用的encoder其实是输入和输出是等长的向量。通常情况下encoder是用来提取特征的因此更适合用于文本分类、情感分析等任务
2、Decoder将固定长度的向量解码成一个可变长度的输出序列经常比如gpt中就是用前面的n个tocken来预测下一个tocken然后将真实的下一个tocken加入再预测下下个tocken这里我们猜测能否将预测的tocken也加入跟真实tocken一起预测呢形成一种对抗。通常情况下decoder更适合用于文本生成的工作。
3、Encoder-Decoder是传统的transformer结构相比较decoder来说更加耗费内存也更慢一些它是用encoder先将可变长度编码成固定长度向量再将固定长度向量解码成可变长度的过程。通常情况下Encoder-Decoder更适合用于机器翻译这种需要输入特征并且也要生成不定长序列的情况
参考: 大模型都是基于Transformer堆叠采用Encoder或者Decoder堆叠有什么区别
