芜湖做网站都有哪些,全国企业信用信息公示系统广东,推广网站发布文章,罗马尼亚网站后缀1 抽象成数学问题 明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情#xff0c;胡乱尝试时间成本是非常高的。 这里的抽象成数学问题#xff0c;指的明确我们可以获得什么样的数据#xff0c;抽象出的问题#xff0c;是一个分类还是回归或者… 1 抽象成数学问题 明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情胡乱尝试时间成本是非常高的。 这里的抽象成数学问题指的明确我们可以获得什么样的数据抽象出的问题是一个分类还是回归或者是聚类的问题。 2 获取数据 数据决定了机器学习结果的上限而算法只是尽可能逼近这个上限。 数据要有代表性否则必然会过拟合。 而且对于分类问题数据偏斜不能过于严重不同类别的数据数量不要有数量级的差距。 而且还要对数据的量级有一个评估多少个样本多少个特征可以估算出其对内存的消耗程度判断训练过程中内存是否能够放得下。如果放不下就得考虑改进算法或者使用一些降维的技巧了。如果数据量实在太大那就要考虑分布式了。 3 特征预处理与特征选择 良好的数据要能够提取出良好的特征才能真正发挥作用。 特征预处理、数据清洗是很关键的步骤往往能够使得算法的效果和性能得到显著提高。归一化、离散化、因子化、缺失值处理、去除共线性等数据挖掘过程中很多时间就花在它们上面。这些工作简单可复制收益稳定可预期是机器学习的基础必备步骤。 筛选出显著特征、摒弃非显著特征需要机器学习工程师反复理解业务。这对很多结果有决定性的影响。特征选择好了非常简单的算法也能得出良好、稳定的结果。这需要运用特征有效性分析的相关技术如相关系数、卡方检验、平均互信息、条件熵、后验概率、逻辑回归权重等方法。 4 训练模型与调优 直到这一步才用到我们上面说的算法进行训练。现在很多算法都能够封装成黑盒供人使用。但是真正考验水平的是调整这些算法的超参数使得结果变得更加优良。这需要我们对算法的原理有深入的理解。理解越深入就越能发现问题的症结提出良好的调优方案。 5 模型诊断 如何确定模型调优的方向与思路呢这就需要对模型进行诊断的技术。 过拟合、欠拟合 判断是模型诊断中至关重要的一步。常见的方法如交叉验证绘制学习曲线等。过拟合的基本调优思路是增加数据量降低模型复杂度。欠拟合的基本调优思路是提高特征数量和质量增加模型复杂度。 误差分析 也是机器学习至关重要的步骤。通过观察误差样本全面分析产生误差的原因:是参数的问题还是算法选择的问题是特征的问题还是数据本身的问题…… 诊断后的模型需要进行调优调优后的新模型需要重新进行诊断这是一个反复迭代不断逼近的过程需要不断地尝试 进而达到最优状态。 6 模型融合 一般来说模型融合后都能使得效果有一定提升。而且效果很好。 工程上主要提升算法准确度的方法是分别在模型的前端特征清洗和预处理不同的采样模式与后端模型融合上下功夫。因为他们比较标准可复制效果比较稳定。而直接调参的工作不会很多毕竟大量数据训练起来太慢了而且效果难以保证。 7 上线运行 这一部分内容主要跟工程实现的相关性比较大。工程上是结果导向模型在线上运行的效果直接决定模型的成败。 不单纯包括其准确程度、误差等情况还包括其运行的速度(时间复杂度)、资源消耗程度空间复杂度、稳定性是否可接受。 这些工作流程主要是工程实践上总结出的一些经验。并不是每个项目都包含完整的一个流程。这里的部分只是一个指导性的说明只有大家自己多实践多积累项目经验才会有自己更深刻的认识。 转载于:https://www.cnblogs.com/xin-qing3/p/11410288.html
