提供常州网站建设公司,有域名了怎么建设网站,django网站开发案例,男女做那个视频的网站0 提纲
7.1 循环神经网络RNN 7.2 LSTM 7.3 Transformer 7.4 U-Net
1 循环神经网络RNN
把上一时刻的输出作为下一时刻的输入之一.
1.1 全连接神经网络的缺点
现在的任务是要利用如下语料来给apple打标签#xff1a;
第一句话#xff1a;I like eating apple!(我喜欢吃苹…0 提纲
7.1 循环神经网络RNN 7.2 LSTM 7.3 Transformer 7.4 U-Net
1 循环神经网络RNN
把上一时刻的输出作为下一时刻的输入之一.
1.1 全连接神经网络的缺点
现在的任务是要利用如下语料来给apple打标签
第一句话I like eating apple!(我喜欢吃苹果!)第二句话The Apple is a great company!(苹果真是一家很棒的公司!)
第一个apple是一种水果第二个apple是苹果公司。 全连接神经网络没有利用上下文来训练模型模型在训练的过程中预测的准确程度取决于训练集中哪个标签多一些如果水果多就打上水果的标签如果苹果公司多就打上苹果公司显然这样的模型不能对未知样本进行准确的预测。 循环神经网络 (Recurrent Neural Network, RNN) 用于处理序列数据.
1.2 动机
序列数据中, 前后数据之间不是独立的, 而是会产生上下文影响. 如:
文本, 机器翻译一个句子的时候, 不是逐个单词的翻译 (你可以发现近 10 年机器翻译的质量大幅提升, 最近的 chatGPT 更是火得一蹋糊涂);音频, 可以在微信中让机器把你讲的话转成文字;投票, 虽然股价预测不靠谱, 但根据时序进行预测却是人们最喜欢干的事情。
1.3 RNN的结构 左图如果不考虑 W W W就是一个全连接神经网络
输入层向量 x x x假设维度为3隐藏层向量 s s s假设维度为4输出层向量 o o o假设维度为2; U U U输入层到隐藏层的参数矩阵维度为 3 × 4 3×4 3×4 V V V隐藏层到输出层的参数矩阵维度为 4 × 2 4×2 4×2。
左图如果考虑 W W W可以展开为右图 x t − 1 x_{t−1} xt−1表示 t − 1 t−1 t−1时刻的输入 x t x_t xt表示 t t t时刻的输入 x t 1 x_{t1} xt1表示 t 1 t1 t1时刻的输入 W W W每个时间点的权重矩阵 o t o_t ot表示 t t t时刻的输出 s t s_t st表示 t t t时刻的隐藏层
RNN 把前一时刻 (简便起见, 前一个单词我也称为前一时刻) 的输出, 当作本阶段输入的一部分. 这里 x t − 1 x_{t−1} xt−1为前一时刻的输入, 而 s t − 1 s_{t-1} st−1 为前一时刻的输出. 这样, 就把数据的前后联系体现出来了.
1.4 RNN的缺点
每一时刻的隐藏状态都不仅由该时刻的输入决定还取决于上一时刻的隐藏层的值如果一个句子很长到句子末尾时它将记不住这个句子的开头的内容详细内容。
2 长短期记忆网络LSTM
选择性的存储.
2.1 LSTM的原理
LSTM是高级的RNN与RNN的主要区别在于
RNN每个时刻都会把隐藏层的值存下来到下一时刻再拿出来使用RNN没有挑选的能力LSTM不一样它有门控装置会选择性的存储信息。既有记忆 (重要信息) 的功能, 也有遗忘 (不重要信息) 的功能. LSTM多了三个门
输入门输入的信息经过输入门输入门的开关决定这一时刻是否会将信息输入到Memory Cell输出门每一时刻是否有信息从Memory Cell输出取决于这一道门遗忘门每一时刻Memory Cell里的值都会经历一个是否被遗忘的过程.
2.2 讨论
遗忘也是一种功能吗? 当然是了. 所谓好了伤疤忘了痛, 如果一个人不会遗忘, 很快就精神失常了. 详细分析见 https://mp.weixin.qq.com/s?__bizMzU0MDQ1NjAzNgmid2247535325idx1sn7d805b06916a3da299e20c0445f59a07chksmfb3aefd6cc4d66c06b0f2d5779c83861474d2442f9b3387a4b87f45f3218efc92c3335602678scene27
3 变形金刚Transformer注意力机制
定位到感兴趣的信息, 抑制无用信息 (怎么有点像 PCA).
3.1 CNN及RNN的缺点
RNN很难实现并行(左图计算 b 4 b^4 b4需要串行查询 a 1 , a 2 , a 3 , a 4 a^1,a^2,a^3,a^4 a1,a2,a3,a4)CNN可以实现并行需要堆叠多层的CNN才能学习到整个序列的特征右图. 3.2 自注意力机制(self-attention)
采用自注意力机制层取代RNN来处理序列同时实现序列的并行处理。 自注意力机制具体内容见https://blog.csdn.net/search_129_hr/article/details/129522922 3.3 注意力机制
数据有重要的数据和不重要的数据。在模型处理数据的过程中如果只关注较为重要的数据部分忽略不重要的部分那训练的速度、模型的精度就会变得更好。 如果给你一张这个图你眼睛的重点会聚焦在红色区域:
人看脸文章看标题段落看开头
在训练过程中输入的权重也都是不同的注意力机制就是学习到这些权重。 最开始attention机制在CV领域被提出来后面广泛应用在NLP领域。
3.4 Tranformer的原理
Transformer 主要分为两部分Encoder编码器 和 Decoder解码器
Encoder负责把输入语言序列隐射成隐藏层图中第 2 步九宫格表示即把自然语言序列映射为隐藏层的数学表达的过程Decoder把隐藏层映射为自然语言序列。 4 U-Net
先编码获得内部表示, 再解码获得目标数据 (怎么有点像矩阵分解).
4.1 U-Net核心思想
U-Net 集编码-解码于一体, 是一种常见的网络架构. 如图所示, U-Net 就是 U 形状的网络, 前半部分 (左边) 进行编码, 后半部分 (右边) 进行解码. 编码部分, 将一个图像经过特征提取, 变成一个小矩阵(28 × 28). 前面说过: 深度学习本质上只做一件事情, 就是特征提取. 解码部分, 将压缩表示解压, 又变回大矩阵完成图像分割任务. 从思想上, 压缩与解压, 这与矩阵分解有几分类似, 都是把数据进行某种形式的压缩表示.
输入的是原始图像通过网络结构后得到的是分割后的图像。 最特殊的部分是结构的后半部分该网络结构没有全连接层只采用了卷积层每个标准的卷积层后面都紧跟着一个Relu激活函数层。
4.2 U-Net的应用
自编码器. 直接将输入数据作为标签, 看编码导致的损失 (更像矩阵分解了). 风格迁移从一种风格转换为另一种风格. 如将自然照片转换成卡通风格, 将地震数据转换成速度模型 (2010年如果你这么做会被业内人士笑话的). 图像分割, 或提取图片的边缘. 嗯, 这个和转成卡通风格也差不多. 机器翻译. 把句子编码成机器内部的表示 (一种新的世界语言?), 然后转成其它语言的句子. 输入一个头, 输出多个头, 就可以做多任务. 如在速度模型反演的同时, 进行边缘提取, 这样导致反演的结果更丝滑.
