苏州网站公司排名前十,青岛网站排名优化公司哪家好,网站到期不续费,夸克破解可看禁用网站数据预处理方法主要有#xff1a; 数据清洗、数据集成、数据规约和数据变换。
1、数据清洗
数据清洗(data cleaning) #xff1a;是通过填补缺失值、光滑噪声数据#xff0c;平滑或删除离群点#xff0c;纠正数据的不一致来达到清洗的目的。
缺失值处理
实际开发获取信…数据预处理方法主要有 数据清洗、数据集成、数据规约和数据变换。
1、数据清洗
数据清洗(data cleaning) 是通过填补缺失值、光滑噪声数据平滑或删除离群点纠正数据的不一致来达到清洗的目的。
缺失值处理
实际开发获取信息和数据的过程中会存在各类的原因导致数据丢失和空缺。针对这些缺失值的处理方法主要是基于变量的分布特性和变量的重要性采用不同的方法。主要分为以下几种
删除变量 若变量的缺失率较高大于80%覆盖率较低且重要性较低可以直接将变量删除
统计量填充 若缺失率较低小于95%且重要性较低则根据数据分布的情况用基本统计量填充最大值、最小值、均值、中位数、众数进行填充
插值法填充 包括随机插值、多重差补法、热平台插补、拉格朗日插值、牛顿插值等
模型填充 使用回归、贝叶斯、随机森林、决策树等模型对缺失数据进行预测
哑变量虚拟变量填充 若变量是离散型且不同值较少可转换成哑变量通常取值0或1 总结来看常用的做法是先用Python中的pandas.isnull.sum() 检测出变量的缺失比例考虑删除或者填充若需要填充的变量是连续型一般采用均值法和随机差值进行填充若变量是离散型通常采用中位数或哑变量进行填充。 噪声处理
噪声noise 是被测量变量的随机误差或方差是观测点和真实点之间的误差。
通常的处理办法
分箱法 对数据进行分箱操作等频或等宽分箱然后用每个箱的平均数中位数或者边界值不同数据分布处理方法不同代替箱中所有的数起到平滑数据的作用
回归法 建立该变量和预测变量的回归模型根据回归系数和预测变量反解出自变量的近似值。
离群点处理
异常值离群点是数据分布的常态处于特定分布区域或范围之外的数据通常被定义为异常或噪声。异常分为两种
l “伪异常”由于特定的业务运营动作产生是正常反应业务的状态而不是数据本身的异常
l “真异常”不是由于特定的业务运营动作产生而是数据本身分布异常即离群点。
主要有以下检测离群点的方法
简单统计分析根据箱线图、各分位点判断是否存在异常例如Python中pandas的describe函数可以快速发现异常值。
基于绝对离差中位数MAD这是一种稳健对抗离群数据的距离值方法采用计算各观测值与平均值的距离总和的方法。放大了离群值的影响。
基于距离 通过定义对象之间的临近性度量根据距离判断异常对象是否远离其他对象缺点是计算复杂度较高不适用于大数据集和存在不同密度区域的数据集
基于密度 离群点的局部密度显著低于大部分近邻点适用于非均匀的数据集
基于聚类 利用聚类算法丢弃远离其他簇的小簇。
不一致数据处理
实际数据生产过程中由于一些人为因素或者其他原因记录的数据可能存在不一致的情况需要对这些不一致数据在分析前需要进行清理。例如数据输入时的错误可通过和原始记录对比进行更正知识工程工具也可以用来检测违反规则的数据。
数据清洗是一项繁重的任务需要根据数据的准确性、完整性、一致性、时效性、可信性和解释性来考察数据从而得到标准的、干净的、连续的数据。
2、数据集成
多个数据源集成时会遇到的问题实体识别问题、冗余问题、数据值的冲突和处理。
实体识别问题
匹配来自多个不同信息源的现实世界实体数据分析者或计算机如何将两个不同数据库中的不同字段名指向同一实体通常会通过数据库或数据仓库中的元数据关于数据的数据来解决这个问题避免模式集成时产生的错误。
冗余问题
如果一个属性能由另一个或另一组属性“导出”则此属性可能是冗余的。属性或维度命名的不一致也可能导致数据集中的冗余。 常用的冗余相关分析方法有皮尔逊积距系数、卡方检验、数值属性的协方差等。
数据值的冲突和处理
不同数据源在统一合并时保持规范化去重。
3、数据规约
随着数据量的增加基于传统的数据分析变得非常耗时和复杂往往使得分析不可行。数据归约技术是用来得到数据集的规约表示在接近或保持原始数据完整性的同时将数据集规模大大减小。对规约后的数据集分析将更有效并可产生几乎相同的分析结果。常见方法有维度规约、维度变换、数值规约等。
维度规约
用于数据分析的数据可能包含数以百计的属性其中大部分属性与挖掘任务不相关是冗余的。维度归约通过删除不相关的属性来减少数据量并保证信息的损失最小。
属性子集选择 目标是找出最小属性集使得数据类的概率分布尽可能地接近使用所有属性的原分布。在压缩的属性集上挖掘还有其它的优点它减少了出现在发现模式上的属性的数目使得模式更易于理解。
单变量重要性 分析单变量和目标变量的相关性删除预测能力较低的变量。这种方法不同于属性子集选择通常从统计学和信息的角度去分析。
如通过pearson相关系数和卡方检验分析目标变量和单变量的相关性。
维度变换
维度变换是将现有数据降低到更小的维度尽量保证数据信息的完整性提高实践中建模的效率。
若维度变换后的数据只能重新构造原始数据的近似表示则该维度变换是有损的若可以构造出原始数据而不丢失任何信息则是无损的。常见有损维度变换方法主成分分析、因子分析、奇异值分解、聚类、线性组合。
主成分分析PCA和因子分析FA PCA通过空间映射的方式将当前维度映射到更低的维度使得每个变量在新空间的方差最大。FA则是找到当前特征向量的公因子维度更小用公因子的线性组合来描述当前的特征向量。
奇异值分解SVD SVD的降维可解释性较低且计算量比PCA大一般用在稀疏矩阵上降维例如图片压缩推荐系统。
聚类 将某一类具有相似性的特征聚到单个变量从而大大降低维度。
线性组合 将多个变量做线性回归根据每个变量的表决系数赋予变量权重可将该类变量根据权重组合成一个变量。
数值规约
数值规约通过选择替代的数据表示形式来减少数据量。即用较小的数据表示替换或估计数据。
数值规约技术可以是有参的也可以是无参的。如参数模型只需要存放模型参数而不是实际数据或非参数方法如聚类、抽样和直方图。
4、数据变换
数据变换包括对数据进行规范化离散化稀疏化处理达到适用于挖掘的目的。
规范化处理
数据中不同特征的量纲可能不一致数值间的差别可能很大不进行处理可能会影响到数据分析的结果因此需要对数据按照一定比例进行缩放使之落在一个特定的区域如[-11]区间或[01]区间便于进行综合分析。
离散化处理
数据离散化是指将连续的数据进行分段使其变为一段段离散化的区间。分段的原则有基于等距离、等频率或优化的方法。
稀疏化处理
针对离散型且标称变量无法进行有序的LabelEncoder时通常考虑将变量做01哑变量的稀疏化处理稀疏化处理既有利于模型快速收敛又能提升模型的抗噪能力。
文章来源网络 版权归原作者所有
上文内容不用于商业目的如涉及知识产权问题请权利人联系小编我们将立即处理
