当前位置: 首页 > news >正文

优秀高端网站建设企业如何做网销

优秀高端网站建设企业,如何做网销,开发网站有什么用,苏州公司网站建设服务目录 1.Encoder 1.1简单理解Attention 1.2.什么是self-attention 1.3.怎么计算self-attention 1.4.multi-headed 1.5.位置信息表达 2.decorder#xff08;待补充#xff09; 参考文献 1.Encoder 1.1简单理解Attention 比方说#xff0c;下图中的热度图中我们希望专注于…目录 1.Encoder 1.1简单理解Attention 1.2.什么是self-attention 1.3.怎么计算self-attention 1.4.multi-headed 1.5.位置信息表达 2.decorder待补充 参考文献 1.Encoder 1.1简单理解Attention 比方说下图中的热度图中我们希望专注于小鸟而不关注背景信息。那么如何关注文本和图像中的重点呢。 具体而然比方说下面的文本she is eating a green用不同的颜色表示其向量然后对每一个向量进行重构比方说she本来由红色向量表示重构之后其向量包含上下文其他向量的部分按照相关程度比重各不相同其实这一块就是算出权值每个词对其他词的贡献再根据这个权值整合每个词自身的向量。 1.2.什么是self-attention 如下图所示两句话中的it根据上下文语句不同指代前面的名词也不同所以希望用注意力机制来专注他们之间的关系。 自注意力机制如下图所示有两句话以it为例只计算本句中每个词和自己的关系 注意力机制如下图所示it会计算其他句和自己的关系。 同样如下图右侧所示以it为例线条越深和自身关系越强 1.3.怎么计算self-attention 如下图所示有两个文本ThinkingMachines在进行计算时我们要知道每一个词和自己的关系以及和其他词的关系也就是说要计算Thinking和自身的关系以及和Machines的关系以及Machines和自身的关系以及和Thinking的关系然后将其向量化表示为x1和x2。接下来为了实现注意力机制我们提供了三个向量qkv以Thinking为例当Thinking想要寻找和自己的关系以及和Machines的关系时必须要知道它要查什么所以需要一个查找对象也就是q同样Thinking和Machines自身作为被查找的单位当被查询时也需要提供我有或者没有被查东西的证据也就是k具象化理解可以理解为古代官府追查杀手必然会拿着杀手画像q那么每家每户都要提供自己的身份信息k证明自己是不是杀手。v后面补充。 再看一下qkv是咋来的对于单词向量x1和x2用一个权重矩阵w分别得到qkv。 再看一下词与词之间的匹配程度如何确定先说一个概念内积相乘越大两者关系越近所以当计算Thinking和自己的匹配程度时用q1*k1112计算Thinking和Machines匹配程度时用q1*k296计算很明显和自己的匹配程度更高 再进一步计算 首先看softmaxQ*K/*V,这样理解当高维Q*K的结果必然比低维相乘大但在实际应用中维数并不应该对结果产生影响所以用消除维度影响。对照下图左侧的公式来看下图右侧在得到112和96之后进行维度消除操作得到14和12然后得到彼此的影响概率0.88和0.12再利用v对x重构得到v。 流程如下图所示Q和每一个K相乘再结合相应的V最后加权得到Attention Value 1.4.multi-headed 上面我们发现一个x只能得到一个z现在希望一个x可以得到不同z所以用不同的w得到不同的qkv。假设一个x最后得到8个不同的z将其拼接在一起太大了所以用全连接层再对其降维。 举个例子 1.5.位置信息表达 前面我们发现计算时会对每一个单词进行计算所以没考虑位置因素但在这里希望把位置因素考虑进去位置用p表示最后加入到重构后的z中 2.decoder待补充 前面是处理输入得到不同的组合z这回需要对z进行输出操作。 此时输出层提供q查询模型需要啥。k和v由输入提供。具体我们可以看下图右侧流程图左为Encoder输入K,V。右下为decoder输入Q。 再说一下MASK机制简单理解此时标签出了I am a那么对于a可以利用前三个词但对于第四个没出的不能使用所以要给它掩盖起来。 3.BERT 替代encoder 参考文献 1.Transformer原理精讲_哔哩哔哩_bilibili 2.67 自注意力【动手学深度学习v2】_哔哩哔哩_bilibili  3. 68 Transformer【动手学深度学习v2】_哔哩哔哩_bilibili 4.(重点)2023年AI爆火方向基于Transformer模型的计算机视觉实战集锦【医疗图像分割、VIT算法、swintransformer、DETR目标检测...】_哔哩哔哩_bilibili
http://www.sadfv.cn/news/252025/

相关文章:

  • 国外儿童社区网站模板下载wordpress 和shopify
  • 网站设计公司推荐多模块内容网页布局设计
  • p2p网站开发的多少钱网络营销是什么职业
  • 室内设计有哪些网站合肥网站设计 goz
  • 宜宾网站优化口碑营销论文
  • phpcms v9怎么做网站wordpress主题 怎么安装教程
  • 购物网站用模板好不好wordpress推广积分插件
  • 社交网站开发湖州网站建设有哪些
  • 泰州模板建站代理怎样用自己的电脑,做网站
  • 编辑网站教程做app多少钱
  • 三亚市建设局官方网站织梦dede模板自带的网站地图优化指南
  • 手机网站建设公司电话咨询织梦网站搭建
  • 怎么下载网站源码文案网站策划书
  • ps做网站画布多大网站免费正能量小说
  • 温州网站优化排名推广个人博客响应式模板
  • 成都协会网站建设设计素材类网站开发策划书
  • 做外贸 是否需要做中文网站深圳网站建设公司哪家好
  • 哪些网站做科技专题有没有必要给企业做网站
  • 企业网站免费制作深圳电子商务平台设计
  • 2016网站建设总结wordpress文章链接自定义
  • 网页设计与网站建设的概述网易邮箱163登录入口
  • 合肥高端网站建设公司哪家好连云港网站关键词优化
  • html5网站带后台付费可见wordpress
  • 东莞网站搭建建站公司可信赖的扬中网站建设
  • 网站开发 案例青岛网络工程优化
  • 宁波高端网站开发网站地图生成器哪个好
  • 海口网站建设发布资源机
  • 淘宝导购网站备案网站策划专员所需知识
  • 网站建设与管理实用教程网站建设的简历制作
  • 互联网招商平台上海关键词优化软件