电脑培训学校网站,新闻发布网站模板,wordpress html 标签页,网络营销的现状和发展趋势离群点(outlier)是指和其他观测点偏离非常大的数据点#xff0c;离群点是异常的数据点#xff0c;但是不一定是错误的数据点。确定离群点对于数据分析会带来不利的影响#xff0c;比如#xff0c;增大错误方差、影响预测和影响正态性。从散点图上可以直观地看到离群点…离群点(outlier)是指和其他观测点偏离非常大的数据点离群点是异常的数据点但是不一定是错误的数据点。确定离群点对于数据分析会带来不利的影响比如增大错误方差、影响预测和影响正态性。从散点图上可以直观地看到离群点离群点是孤立的一个数据点从分布上来看离群点远离数据集中其他数据点。在数据处理过程中检测离断点的方法通常有Z-score 和 IQR。一Z-score方法在介绍Z-score方法之前先了解一下3∂原则这个原则有个前提条件数据需要服从正态分布。在3∂原则下如果观测值与平均值的差值超过3倍标准差那么可以将其视为异常值。正负3∂的概率是99.7%那么距离平均值3∂之外的值出现的概率为P(|x-u| 3∂) 0.003属于极个别的小概率事件。如果数据不服从正态分布那么可以用远离平均值的多少倍标准差来描述倍数就是Z-score。Z-score以标准差为单位去度量某一原始分数偏离平均数的距离它回答了一个问题一个给定分数距离平均数多少个标准差?Z-score的公式是Z-score (Observation — Mean)/Standard Deviationz (X — μ) / σZ-score需要根据经验和实际情况来决定通常把远离标准差3倍距离以上的数据点视为离群点也就是说把Z-score大于3的数据点视作离群点Python代码的实现如下importnumpy as npimportpandas as pddefdetect_outliers(data,threshold3):mean_dnp.mean(data)std_dnp.std(data)outliers[]for y indata_d:z_score (y - mean_d)/std_dif np.abs(z_score) threshold:outliers.append(y)return outliers二IQR方法四分位点内距(Inter-Quartile RangeIQR)是指在第75个百分点与第25个百分点的差值或者说上、下四分位数之间的差计算IQR的公式是IQR Q3 − Q1IQR是统计分散程度的一个度量分散程度通过需要借助箱线图来观察通常把小于 Q1 - 1.5 * IQR 或者大于 Q3 1.5 * IQR的数据点视作离群点探测离群点的公式是outliers value ( Q1 - 1.5 * IQR ) or value ( Q3 1.5 * IQR )这种探测离群点的方法是箱线图默认的方法箱线图提供了识别异常值/离群点的一个标准异常值通常被定义为小于 QL- l.5 IQR 或者 大于 Qu 1.5 IQR的值QL称为下四分位数 Qu称为上四分位数IQR称为四分位数间距是Qu上四分位数和QL下四分位数之差其间包括了全部观察值的一半。箱线图的各个组成部分的名称及其位置如下图所示箱线图可以直观地看出数据集的以下重要特性中心位置中位数所在的位置就是数据集的中心从中心位置向上或向下看可以看出数据的倾斜程度。散布程度箱线图分为多个区间区间较短时表示落在该区间的点较集中对称性如果中位数位于箱子的中间位置那么数据分布较为对称如果极值离中位数的距离较大那么表示数据分布倾斜。离群点离群点分布在箱线图的上下边缘之外。使用Python实现参数sr是Series类型的变量defdetect_outliers(sr):q1 sr.quantile(0.25)q3 sr.quantile(0.75)iqr q3-q1 #Interquartile rangefence_low q1-1.5*iqrfence_high q31.5*iqroutliers sr.loc[(sr fence_low) | (sr fence_high)]return outliers参考文档
