公司网站经常打不开,时尚大气的网站设计,网站开发编程工程师招聘,淮安专业做网站文章目录
机器学习专栏
主要思想
主流方法
1.投影
二维投射到一维
三维投射到二维
2.流形学习
一、PCA主成分分析
介绍
代码
二、三内核PCA
具体代码
三、LLE
结语 机器学习专栏 机器学习_Nowl的博客-CSDN博客 主要思想 介绍#xff1a;当一个任务有很多特征…文章目录
机器学习专栏
主要思想
主流方法
1.投影
二维投射到一维
三维投射到二维
2.流形学习
一、PCA主成分分析
介绍
代码
二、三内核PCA
具体代码
三、LLE
结语 机器学习专栏 机器学习_Nowl的博客-CSDN博客 主要思想 介绍当一个任务有很多特征时我们找到最主要的剔除不重要的 主流方法
1.投影
投影是指找到一个比当前维度低的维度面或线这个维度面或线离当前所有点的距离最小然后将当前维度投射到小维度上
二维投射到一维 三维投射到二维 2.流形学习
当然当数据集投影后在低纬度上有重叠的时候我们应该考虑别的方法
我们来看看被称为瑞士卷数据集的三维图 经过两种降维数据的处理我们得到下面两幅二维数据可视化图 我们可以看到左边的数据 有很多重合的点它使用的是投影技术而右图就像将数据集一层层展开一样这就是流形学习
我们接下来介绍三种常见的具体实现这些的降维方法
一、PCA主成分分析
介绍
pca主成分分析是一种投影降维方法
PCA主成分分析的思想就是识别最靠近数据的超平面然后将数据投影到上面
代码
这是一个最简单的示例有一个两行三列的特征表x我们将它降维到2个特征n_components参数决定维度
from sklearn.decomposition import PCAx [[1, 2, 3], [3, 4, 5]]pca PCA(n_components2)
x2d pca.fit_transform(x)print(x)
print(x2d) 运行结果 二、三内核PCA
内核可以将实例隐式地映射到高维空间这有利于模型寻找到数据的特征维度过低往往可能欠拟合其他的思想与PCA相同
具体代码
1.线性内核
特点 线性核对原始特征空间进行线性映射相当于没有映射直接在原始空间上进行PCA。适用于数据在原始空间中是线性可分的情况。
import matplotlib.pyplot as plt
from sklearn.datasets import make_swiss_roll
from sklearn.decomposition import KernelPCA# 生成瑞士卷数据集
X, color make_swiss_roll(n_samples1000, noise0.2, random_state42)# 使用内核PCA将数据降为二维
kpca KernelPCA(n_components2, kernellinear, gamma0.1)
X_kpca kpca.fit_transform(X)# 可视化降维后的数据
plt.scatter(X_kpca[:, 0], X_kpca[:, 1], ccolor, cmapviridis, edgecolork)
plt.title(Kernel PCA of Swiss Roll Dataset)
plt.show()2.rbf内核
特点 RBF核是一种常用的非线性核函数它对数据进行非线性映射将数据映射到高维空间使得在高维空间中更容易分离。gamma参数控制了映射的“尺度”或“平滑度”较小的gamma值导致较远的点对结果有较大的贡献产生更平滑的映射而较大的gamma值使得映射更加局部化。
import matplotlib.pyplot as plt
from sklearn.datasets import make_swiss_roll
from sklearn.decomposition import KernelPCA# 生成瑞士卷数据集
X, color make_swiss_roll(n_samples1000, noise0.2, random_state42)# 使用内核PCA将数据降为二维
kpca KernelPCA(n_components2, kernelrbf, gamma0.04)
X_kpca kpca.fit_transform(X)# 可视化降维后的数据
plt.scatter(X_kpca[:, 0], X_kpca[:, 1], ccolor, cmapviridis, edgecolork)
plt.title(Kernel PCA of Swiss Roll Dataset)
plt.show()3.sigmoid内核
特点 Sigmoid核也是一种非线性核函数它在数据上执行类似于双曲正切tanh的非线性映射。它对数据进行映射使其更容易在高维空间中分离。gamma参数和coef0参数分别控制了核函数的尺度和偏置。
import matplotlib.pyplot as plt
from sklearn.datasets import make_swiss_roll
from sklearn.decomposition import KernelPCA# 生成瑞士卷数据集
X, color make_swiss_roll(n_samples1000, noise0.2, random_state42)# 使用内核PCA将数据降为二维
kpca KernelPCA(n_components2, kernelsigmoid, gamma0.04)
X_kpca kpca.fit_transform(X)# 可视化降维后的数据
plt.scatter(X_kpca[:, 0], X_kpca[:, 1], ccolor, cmapviridis, edgecolork)
plt.title(Kernel PCA of Swiss Roll Dataset)
plt.show()三、LLE
局部线性嵌入Locally Linear EmbeddingLLE是一种非线性降维算法用于保留数据流形结构。
以下是使用LLE展开瑞士卷数据集的代码
import matplotlib.pyplot as plt
from sklearn.datasets import make_swiss_roll
from sklearn.manifold import LocallyLinearEmbedding# 生成瑞士卷数据集
X, color make_swiss_roll(n_samples1000, noise0.2, random_state42)# 使用LLE将数据降为二维
lle LocallyLinearEmbedding(n_neighbors12, n_components2, random_state42)
X_lle lle.fit_transform(X)# 可视化降维后的数据
plt.scatter(X_lle[:, 0], X_lle[:, 1], ccolor, cmapviridis, edgecolork)
plt.title(LLE of Swiss Roll Dataset)
plt.show()结语
降维的方法不止这几种重要的是我们要理解为什么要降维——减少不重要的特征同时也能加快模型的训练速度
