网站建设的教程,淘宝客建立网站,搭建小程序教程,军博网站建设公司像数据科学家一样思考#xff1a;12步指南#xff08;上#xff09;《像数据科学家一样思考》
7-工程产品 下一步是建立统计软件。如果统计是分析和从数据中得出结论的框架#xff0c;那么软件就是将这个框架付诸行动的工具。数据科学家必须为任何项目做出许多软件选择。如…像数据科学家一样思考12步指南上《像数据科学家一样思考》
7-工程产品 下一步是建立统计软件。如果统计是分析和从数据中得出结论的框架那么软件就是将这个框架付诸行动的工具。数据科学家必须为任何项目做出许多软件选择。如果你有一个喜欢的软件这通常是一个不错的选择但是有充分的理由去挑选别的东西。如果你是数据科学或统计软件的新手或许很难找到一个起点。
电子表格和基于GUI的应用程序通常是执行任何类型数据分析的首选。特别是如果数据是表格形式的例如CSV并且数据不是太多那么在电子表格中开始分析就很容易了。此外如果你需要进行的计算并不复杂那么电子表格甚至可以涵盖项目的所有软件需求。这里常用的软件工具包括Excel、SPSS、Stata、SAS和Minitab。学习这些中级工具之一的编程语言可能是学习真正的编程语言的一个很好的一步这些语言本身就非常有用。特别是SAS在统计行业中拥有广泛的追随者学习它的语言本身就是一个合理的目标。
MATLAB是一种专有的软件环境和编程语言而且MATLAB的成本相当高。有些人决定在一个名为Octave的开源项目中复制它。随着Octave的成熟它在可用功能和功能方面越来越接近MATLAB。除了使用附加软件包工具箱的代码之外用MATLAB编写的绝大多数代码都可以在Octave中工作反之亦然。 总的来说MATLAB和Octave非常适合在信号处理、通信、图像处理和优化等方面使用大型矩阵的工程师特别是电气工程师。
R语言是基于贝尔实验室S编程语言创建的。它是开源的但其许可证比Python和Java等其他流行语言更具限制性特别是你正在构建商业软件产品时。与MATLAB相比R中更容易加载和处理不同类型的数据。MATLAB擅长处理表格数据但一般来说对于包含标题、混合列类型整数小数字符串等、JSON和数据库查询的表R更好。
R的另一个优点是开源开发人员可以更轻松地在他们认为合适的地方为语言和包开发做出贡献。这些开源贡献帮助R大幅增长并扩展了与其他软件工具的兼容性。CRAN网站提供了数以千计的R包你可以找到你想要进行的分析类型的软件包这是R语言的最大优势。MATLAB也有包但不是很多尽管它们通常非常好。总体而言对于统计学家和其他追求数据探索性工作而不是在软件行业中构建生产软件的人来说R是一个不错的选择。 Python是一种功能强大的语言可用于编写脚本和创建生产软件。它更适合非统计任务例如与其他软件服务集成创建API和Web服务以及构建应用程序。可能因为Python最初是一种通用编程语言它有一个强大的面向对象设计框架。
尽管Python最初并不是一种专门用于统计的语言但有些人已经为Python开发了几个软件包这些软件包提升了它的统计能力现在足够与R和MATLAB竞争。在使用向量、数组和矩阵时数值方法的numpy包是必不可少的。软件包scipy和scikit-learn在优化、集成、集群、回归、分类和机器学习等功能中很受欢迎。使用了这三个软件包Python可以与R和MATLAB的核心功能相媲美在某些领域例如机器学习Python似乎在数据科学家中更受欢迎。对于数据处理pandas已经变得非常受欢迎。
然而数据科学中最著名的Python包之一是Natural Language ToolkitNLTK。它是自然语言处理NLP中最受欢迎和最强大的工具。如果有人正在从Twitter、新闻源、电子邮件语料库或其他地方解析和分析文本那么他们很可能已经使用了NLTK。总的来说Python非常适合想要进行一些数据科学以及其他一些纯粹的非统计软件开发的人。 虽然Java不是脚本语言不太适合探索性的数据科学但Java是软件应用程序开发中最著名的语言之一因此它经常用于分析应用程序开发。导致Java不利于探索性数据科学的许多原因使其更有利于应用程序开发。Java对于探索性数据科学来说并不是很好但它对于基于数据科学的大规模或生产代码来说非常有用。Java有许多统计库可用于从优化到机器学习其中许多都是由Apache Software Foundation提供和支持的。 在选择统计软件工具时请牢记以下标准
· 灵活性除了能够执行你想要的主要统计分析之外如果统计工具可以执行一些相关方法通常也会有所帮助。通常你会发现你选择的方法并不像你希望的那样好而且你在这个过程中学到的东西会让你相信一种不同的方法可能会更好。
· 良好的文档除了常用之外统计软件工具应该有全面而有用的文档。如果你无法找到一些重要问题的答案例如如何配置进行线性回归的输入或如何格式化机器学习功能这是一个不好的迹象。如果大问题的答案不在文档中那么找到你将不可避免地遇到的更具体问题的答案就更难了。
· 专用某些软件工具或其软件包是为特定目的而构建的之后又添加了其他功能。例如MATLAB和R中的矩阵代数例程在构建语言时是主要关注的问题因此可以安全地假设它们是全面且健壮的。相比之下矩阵代数在初始版本的Python和Java中并不是主要关注的问题因此这些功能稍后以包和库的形式添加。
· 互操作性如果你正在使用数据库那么使用可以直接与数据库交互的工具会很有帮助。如果你要根据结果构建Web应用程序则可能需要选择支持Web框架的工具或者至少可以使用JSON或其他一些Web友好格式导出数据的工具。如果你将在各种类型的计算机上使用统计工具那么你将希望该软件能够在各种操作系统上运行。
· 许可证如果你将商业软件用于商业目的那么使用学术或学生许可这样做具有法律风险。将商业软件无论是否经过修改出售给其他人而不确认许可证是否禁止此类软件也是危险的。
8-优化产品 接下来我们就需要使用补充软件优化产品。我们在上一步中创建的软件工具可以是多功能的但它们本质上是统计的。软件可以做的不仅仅是统计数据特别是有许多工具可用于有效地存储管理和移动数据。有些可以使计算和分析的每个方面都更快且更容易管理。这里有4种流行的软件可以使你作为数据科学家的工作更轻松。
数据库很常见在项目期间跨越不同数据库的可能性相当高特别是如果你要使用其他人的数据。但是当然不是仅仅接触而是自己建立一个数据库来帮助你完成项目。最常见的两种类型是关系型SQL和非关系型NoSQLElasticSearch与将数据存储在计算机的文件系统上相比数据库具有许多优势。大多数情况下数据库可以提供对数据的任意访问且比文件系统更快并且它们还可以通过冗余方式扩展这种方式优于文件系统扩展。
高性能计算HPC是一个通用术语适用于需要进行大量计算并且希望尽快完成计算的情况。你可以选择使用超级计算机计算机集群或图形处理单位它们非常适合执行高度可并行化的计算。如果你有权访问那么HPC是等待PC计算所有需要计算的东西的好选择。使用HPC产品的好处有很多但是在你选择之前你必须要衡量一下成本。
最大的云服务提供商主要是大型科技公司例如阿里巴巴、谷歌和微软等公司在向公众开放之前都已经拥有大量的计算和存储资源。但他们并不总是将资源用到最大负荷因此他们决定出租过剩的产能并扩大其收益结果证明这是一系列有利可图的商业决策。提供的服务通常大致相当于个人计算机计算机集群或本地网络的功能。所有这些可以在世界各地的地理区域中获得可通过在线连接和标准连接协议访问以及通常是Web浏览器界面。如果你没有足够的资源来充分满足你的数据科学需求你可以选择尝试购买云服务。
最后你可以尝试大数据技术HadoopHBase和Hive等。大数据技术的设计不是为了移动数据而是当数据集处于非常大的规模时利用大数据技术可以节省大量的时间和金钱。每当计算任务受数据传输限制时大数据可以提高效率。但是与本章中描述的其他技术相比大数据系统软件需要花费一些精力。
9-执行计划 构建阶段的最后一步是执行产品的构建计划。大多数软件工程师可能熟悉构建复杂软件的试验和磨难但他们可能不熟悉构建处理可疑质量数据的软件的难度。另一方面统计人员知道拥有脏数据的情况但可能没有建立更高质量软件的经验。同样与项目相关的不同角色的每个人可能拥有各种经验并为不同的事情做好准备。
· 如果你是一名统计学家你会知道有脏数据而且你知道偏差和夸大结果的重要性。但你可能没有太多经验来构建业务软件特别是生产软件。你应该咨询具有实践经验的软件工程师以了解如何提高软件的稳健性。
· 如果你是软件工程师你知道开发生命周期是什么样的并且你知道如何在部署和交付之前测试软件。但是你可能不了解数据无论你在软件设计和开发方面有多好数据最终都会以你从未想过的方式破坏你的应用程序。这需要在构建软件时采用新的思维模式以及对错误有容忍度因为它们会频繁地发生。你应该咨询精通预测和处理有问题数据的统计人员例如异常值缺失值。
· 如果你刚开始从事数据科学没有丰富的统计学或软件工程经验如果你可以向他们解释你的项目和目标那么有经验的人可以向你提供一些可靠的建议。作为一个初学者你在这个过程阶段有职责来弥补经验的不足。
· 如果你只是该项目的一个团队成员那么沟通和协调是至关重要的。你不必了解团队中发生的所有事情但有必要明确目标和期望并确保有人管理整个团队。
设计计划应包含多个路径和选项所有这些都取决于项目的结果、目标和期限。无论计划有多好随着项目的进展总有可能对其进行修订。即使你考虑到所有不确定因素并且意识到每一种可能的结果计划范围之外的事情也可能会发生变化。计划需要改变的最常见原因是新信息从项目外部的来源出现并且计划的一个或多个路径发生变化或目标本身发生变化。
随着项目的进展你通常会看到越来越多的结果积累让你有机会确保它们符合你的期望。一般而言在涉及统计的数据科学项目中期望基于统计显著性的概念或基于这些结果的实际有用性概念。统计意义和实际有用性通常密切相关当然不是相互排斥的。作为项目计划的一部分你可能包含了在统计分析结果中达到某种准确性或重要性的目标实现这些目标将被视为该项目的成功。
原文链接 本文为云栖社区原创内容未经允许不得转载。
