网站绝对路径301,建设工程教育网电话,wordpress 评论表单,网站域名301Embedding与向量数据库#xff1a;
Embedding 简单地说就是 N 维数字向量#xff0c;可以代表任何东西#xff0c;包括文本、音乐、视频等等。要创建一个Embedding有很多方法#xff0c;可以使用Word2vec#xff0c;也可以使用OpenAI 的 Ada。创建好的Embedding#xff…Embedding与向量数据库
Embedding 简单地说就是 N 维数字向量可以代表任何东西包括文本、音乐、视频等等。要创建一个Embedding有很多方法可以使用Word2vec也可以使用OpenAI 的 Ada。创建好的Embedding就可以存入向量数据库中。 这里举个例子比如“你好”用W2做Em后可以表示为[0.1,0.5,0.7]而“嗨”用W2做Em后可以表示为[0.2,0.5,0.6]我们可以使用余弦相似度的方法来计算他们的相似度 Cosine Similarity(A,B) A·B / |A|*|B|其中A和B分别表示两个不同维度的embedding|A|和|B|分别表示A和B的模长 余弦相似度的值越接近1表示两个向量的方向越接近即两个embedding越相似。大概就如下图所示
word2Vec
Word2Vec是语言模型中的一种它是从大量文本预料中以无监督方式学习语义知识的模型被广泛地应用于自然语言处理中。Word2Vec是用来生成词向量的工具而词向量与语言模型有着密切的关系。Word2Vec是轻量级的神经网络其模型仅仅包括输入层、隐藏层和输出层模型框架根据输入输出的不同主要包括CBOW和Skip-gram模型
CBOW
就是“完形填空”知道词w上下文的情况下预测w是什么词。
1.简单CBOW输入一个词预测输出一个词 从上图可以看出实际上是很简单的一个BP神经网络输入就是一个一维的向量然后和第一个权重矩阵w进行乘法获取隐含层的值h然后h再和第二个权重矩阵W’相乘后得到输出有多少个字就有多少种输出最后的输出经过softMax函数就可以得到每个字的概率概率最大的就是我们预测的字。
2.复杂CBOW,输入多个词预测一个词 和simple CBOW不同之处在于输入由1个词变成了C个词每个输入到达隐藏层都会经过相同的权重矩阵W隐藏层h的值变成了多个词乘上权重矩阵之后加和求平均值。
3.CBOW的训练 CBOW模型的训练目标是最大化给定上下文时中心单词出现的概率即最大化y[t]。这等价于最小化交叉熵损失函数
交叉熵损失函数可以通过反向传播算法来求导并通过随机梯度下降法来更新参数。参数包括输入层到隐藏层之间的权重矩阵W大小为V×N以及隐藏层到输出层之间的权重矩阵U大小为N×V。
Skip-gram Model Skip-gram model是通过输入一个词去预测多个词的概率。输入层到隐藏层的原理和simple CBOW一样不同的是隐藏层到输出层损失函数变成了C个词损失函数的总和权重矩阵W’还是共享的
