竞网做的网站怎么,宽屏大气网站模板,做网站构思,绵竹网站建设一. 进度计划 时间 计划进度 3.24-3.30 尝试将kdd数据预处理用代码实现 3.31-4.6 将kdd数据预处理用代码实现以及与aprior算法的结合 二. 课题需求 2.1 数据预处理的功能和主要方法 在现实中,由于数据的来源、组织、存储等的多样性,海量的原始数据中一般都很难避免“脏数据…一. 进度计划 时间 计划进度 3.24-3.30 尝试将kdd数据预处理用代码实现 3.31-4.6 将kdd数据预处理用代码实现以及与aprior算法的结合 二. 课题需求 2.1 数据预处理的功能和主要方法 在现实中,由于数据的来源、组织、存储等的多样性,海量的原始数据中一般都很难避免“脏数据”的存在,如噪音、冗余、矛盾、缺损等等,因而很少能够直接满足数据挖掘的要求。根据“进去的是垃圾,出来的也是垃圾,”的原理,为了获得有价值的知识,就必须提供有效的数据。同时,由于知识发现问题本身固有的复杂性,不同类型、不同目的、不同方法的知识发现往往对数据源有额外的、特殊的要求。当建立一个信息系统的时候,即使进行了良好的设计、规划和数据清洗,也不能保证获得的数据都能满足特定的挖掘任务的需要,针对具体的应用往往还需要进行后续的数据预处理工作,如数据集成和转换、数据归约、连续数据的离散化、概念分层等。这些工作直接影响到数据挖掘算法的有效性和运行效率。 数据预处理的主要方法有基于粗糙集理论的约简方法基于概念树的数据浓缩方法信息论思想和知识发现基于统计分析的属性选取方法遗传算法。而常见的数据预处理方法有数据清洗、数据集成、数据变换和数据归约。 1. 数据集成Data Integration)是将多文件或多数据库运行环境中的异构数据进行合并处理解决语义的模糊性。该部分主要涉及数据的选择、数据的冲突问题以及不一致数据的处理问题。 2. 数据清洗Data Cleaning数据清洗的目的不只是要消除错误、冗余和数据噪音。其目的是要将按不同的、不兼容的规则所得的各种数据集一致起来。 3. 数据变换Data Transformation是找到数据的特征表示用维变换或转换来减少有效变量的数目或找到数据的不变式包括规格化、规约、切换和投影等操作。 4. 数据简化Data Reduction是在对发现任务和数据本身内容理解的基础上寻找依赖于发现目标的表达数据的有用特征以缩减数据模型从而在尽可能保持数据原貌的前提下最大限度的精简数据量。其主要有两个途径属性选择和数据抽样分别针对数据库中的属性和记录。 2.2数据预处理 入侵检测的原始数据通常包含几十个特征这些数据运用到一些分类算法中将使分类速度非常缓慢,甚至无法进行下去因此寻找这些大量特征之间的相关性找出其中的冗余信息是入侵检测数据预处理要解决的问题。目前特征提取主要采用的方法有 PCA、KPCA 和非线性成分分析方法等。 PCA 是一种提取数据中线性特征的方法。作为一种特征提取技术它已用在许多模式识别领域。 设研究对象有n 个特征即 1 2, ,...,nx x x,PCA 就是寻找p个正交向量使向量组 2.2.1 能较好地表示研究对象。 (2.2.1)式写为矩阵的形式为 Y A ⋅X (2.2.2) 所以 (2.2.3) 对(2.2.3)式两边取数学期望得: (2.2.4) 令 (2.2.5) (2.2.6) 则(2.2.4)式可变为 (2.2.7) 由 X 的m 个样本估计得到: (2.2.8) 式中的 为第j个样本,同样 (2.2.9) 方差的贡献率定义为选择 m 的依据是 m 个最大特征值对应的方差贡献率的总和应大于 99.9%。m 个最大特征值对应的特征矢量构成m 维特征子空间。 主成分分析的具体算法是 1计算协方差矩阵 。 2求出协方差矩阵的特征值 。 3按 m 个最大特征值对应的方差贡献率的总和大于 99.9%选取 m 个最大的特征值及其对应的特征向量利用(2.2.1)式求出输入数据在特征空间的投影。 目前入侵检测数据预处理主要是采用一些传统的降维方法这些方法在入侵检测中存在一定的困难如数据维数降低不多对入侵检测中不同类型的数据同时处理存在困难等。 CAEP 通 过 聚 集 显 露 模 式 分 类 使 用 项 集 支 持 度 挖 掘 显 露 模 式Emerging Pattern ,EP[38]。而 EP 用于构造分类[41]。EP 基本概念如下 设 I{i1, i2,…, im}是项的集合其中的元素称为项(item)。事务 T 是项的集合T⊆I。设数据集 D 是事务的集合。I 的子集 X 被称为 K 项集当且仅当 K|X|。如果 X⊆T我们说事务集 T 包含项集 X。项集 X 在数据集 D 中的支持度用 supp D(X)表示其计算公式如下 其中 count D(X)是 D 中包含 X 的数量。给定一个正数 δ如果 supp D (X)≥δ则认为 X 是 δ-large 否则认为 X 是 δ-small。LARGEδ (D)相应的 SMALLδ(D)定义为所有 δ-large相应的δ-small项集的集合。 假设一对数据集的有序对D1 和 D2 其支持度分别为 supp1 (X)和 supp2 (X)。项集X 从 D1 到 D2 的增长率 Growth Rate(X)定义如下 三. 参考资料 刘宪芳.入侵检测系统的特征提取方法研究及其实现关大伟.数据挖掘中的数据预处理姜晚云.关联规则在学生成绩管理中的应用研究转载于:https://www.cnblogs.com/G-Domain/p/6613794.html
