局域网站开发,成都装修公司哪家实惠,网站建设云南才力,app营销十大成功案例虽然大多数深度学习模型都是在 Linux 系统上训练的#xff0c;但 Windows 也是一个非常重要的系统#xff0c;也可能是很多机器学习初学者更为熟悉的系统。要在 Windows 上开发模型#xff0c;首先当然是配置开发环境。Kaggle Master 及机器学习实践者 Abhinand 立足于自己的…虽然大多数深度学习模型都是在 Linux 系统上训练的但 Windows 也是一个非常重要的系统也可能是很多机器学习初学者更为熟悉的系统。要在 Windows 上开发模型首先当然是配置开发环境。Kaggle Master 及机器学习实践者 Abhinand 立足于自己的实践给出了一种简单易行的 Windows 深度学习环境配置流程。选自towardsdatascience作者Ahinand机器之心编译编辑Panda。本文将介绍在 Windows 计算机上配置深度学习环境的全过程其中涉及安装所需的工具和驱动软件。出人意料的是即便只是配置深度学习环境任务也不轻松。你很有可能在这个过程中犯错。我个人已经很多次从头开始配置深度学习环境了但是通常是在对程序员更友好的操作系统 Linux 中。而对于 Windows 操作系统没有多少文章详细解释这一过程。所以我打算自己来试试。这些天经过多次试错之后我终于找到了解决方案。这个方法不仅能够配置成功还比我见过的其它教程简单得多。本教程为谁而写以及为什么要用 Windows相信我我自己也不喜欢在 Windows 上鼓捣 CUDA。但我们常常遇到这种情况开发者经常需要在并非深度学习或程序开发专用的笔记本电脑或更强大的硬件上工作。在这种情况下你并不总能避免使用 Windows。如果你遇到这种情况或者正好拥有一台 Windows 计算机又或者还不能熟练使用 Linux那么这份指南肯定能帮到你。本文包含以下内容硬件和软件的最低要求安装 Python 和所需工具设置开发环境一些 GPU 术语安装 GPU 驱动安装 TensorFlowCPU 和 GPU安装 PyTorchCPU 和 GPU验证安装情况我的个人经验和替代方法硬件和软件的最低要求如果你要按照本指南操作并且计划使用 GPU你必须使用英伟达 GPU。开发深度学习应用涉及到训练神经网络这自然需要执行大量计算。也因此我们需要越来越多的并行运算而 GPU 正好能够满足我们的需求。这也是当前 GPU 需求旺盛的主要原因之一。大多数深度学习框架都自带 GPU 加速支持这让开发者和研究者无需执行任何 GPU 编程就能在几分钟内使用 GPU 进行计算。大部分这些框架都只支持 CUDA而这只能在英伟达 GPU 上使用这也是你需要使用英伟达 GPU 的原因。但是使用 AMD 的 GPU 也不是不可能相关信息可参阅https://rocmdocs.amd.com/en/latest/。不过就算你没有 GPU也依然可以继续本教程。但为了有效进行深度学习至少你要有好用的 CPU、内存和存储空间。我的硬件——笔记本电脑的配置如下CPU——AMD Ryzen 7 4800HS 8C -16T 4.2GHz on TurboRAM——16 GB DDR4 RAM 3200MHzGPU——Nvidia GeForce RTX 2060 Max-Q 6GB GDDR6 显存对于硬件配置我推荐至少使用 4 核 2.6 GHz 的 CPU、16GB 内存和 6GB 显存的英伟达 GPU。另外对于本教程你当然需要使用 Windows 10 系统。我也假设你对 Python 软件包和环境具备基本认知。不管怎样后面都会给出解释。推荐使用的 Windows 版本是最新的 64 位 Windows 10 稳定版。本教程假设你的操作系统是刚装好的没有执行过额外的修改。不过只要你知道自己在做什么依然可以参考本教程。安装 Python 和所需工具第一步当然是安装 Python。我建议使用 Mini-Conda 来安装 Python。先给刚入门的新手解释一下原因。Conda 是一个软件包管理工具可以帮助你安装、管理和移除各种不同的软件包。不过 Conda 并不是唯一的选择还有 pip——这是我很喜欢的 Python 默认软件包管理工具。这里我们选择 Conda 的原因是在 Windows 上使用它更简单直接。Anaconda 和 Mini-Conda 都是 Conda 的软件发行版其中预安装了一些非常有用的数据科学 / 机器学习软件包能节省很多时间。Anaconda 包含 150 多个在数据科学和机器学习中有用的软件包基本上包含了你可能需要的一切而 Mini-Conda 仅包含一些必需的工具和软件包。我推荐使用 Mini-Conda因为我喜欢对所安装的软件包有几乎完整的控制权。清楚地了解你所安装的东西完全不是坏事。当然这还能帮你节省一些存储空间你也不会装上几十个你可能永远也用不上的奇怪软件包。要安装 Mini-Conda请访问https://docs.conda.io/en/latest/miniconda.html下载 Windows 64 位版本的 Python3 安装工具然后像安装其它 Windows 软件一样安装它。一定要勾选询问你是否要将 Conda 和 Python 加入到 PATH 的勾选框。现在你可以通过以下命令检查 Conda 和 Python 是否安装成功。如果安装成功则会显示版本号否则你可能需要再次正确安装 Mini-Conda 并将其加入到 PATH。 python —versionPython
3.8.3conda —versionconda
4.8.4下一步是安装 jupyter-notebook请在命令行界面使用以下命令 conda install -y jupyter你可以通过运行 jupyter notebook 来验证安装这会帮你在浏览器上打开 Jupyter Notebook。设置开发环境这一步很重要但很多人会忽视它。使用 Anaconda 这种包含所有已知软件包的工具是可以理解的但如果要开发自己的项目真正构建一些东西你可能还是需要一个专门针对该项目或你的工作性质的定制开发环境。使用专门虚拟环境的另一大优势是你可以将软件包与全局设置隔离开。这样就算你在该环境中使用软件包时搞错了你也可以轻松地丢弃它们而不对全局软件包产生任何影响。这也能让你灵活地使用任何之前版本的 Python 创建环境。这样你就可以避免使用那些还不稳定的新特性之后再根据支持情况选择是否升级。创建 Conda 环境还算简单。为了方便解释我创建了一个名为 tensorflow 的环境你可以将其改为任何名称。我将使用 Python 3.7因为我知道 TensorFlow 对其有很好的支持。顺便一提这将是安装 TensorFlow 的位置我还会创建一个名为 torch 的环境来安装 PyTorch。 conda create --name tensorflow python3.7 环境创建完成之后你可以使用以下命令进入该环境其中的 tensorflow 只是我们之前提供给该环境的名称。 conda activate tensorflow 进入环境之后你会在提示框的左边看到类似这样的信息如果你没在 Powershell 上看到这个信息那么你可能需要先在 Powershell 初始化 conda 一次 conda init powershell然后你可能会在左边看到 (base)如上图所示此时你已不在任何环境中。之后你再进入任何环境你应该都会看见环境名。此外你还可以在环境中安装 nb 工具并将其链接到我们之前安装的 Jupyter Notebook。 conda install nb_conda要将该环境注册到 Jupyter Notebook可运行以下命令 python -m ipykernel install --user --name tensorflow --display-name “Python 3.7 (tensorflow)”要退出 Conda 环境则运行以下命令 conda deactivate 现在按照同样的步骤创建一个名为 torch 的环境 conda create --name torch python3.7conda activate torch conda install nb_condapython -m ipykernel install --user --name torch --display-name “Python 3.7 (torch)”如果环境设置成功你可以在环境列表中看到它们。 conda env list 要验证每个环境是否都已安装了各自的软件包你可以进入各个环境执行 conda list这会显示该环境中已安装的所有软件包。不要因为这个列表很长而感到困扰。Conda 已经妥善地处理了主要部分和依赖包。一些 GPU 术语在安装 GPU 相关软件之前我们有必要了解这些软件是什么以及你需要它们的原因。GPU 驱动顾名思义GPU 驱动是让操作系统及程序能使用 GPU 硬件的软件。游戏玩家肯定很熟悉这个。如果你喜欢打游戏你可能需要让这个软件保持最新以获得最好的游戏体验。CUDA简单来说这是英伟达开发的一个编程接口层能让你调用 GPU 的指令集及其并行计算单元。自 2010 年代末的 GeForce 8 系列 GPU 以来几乎所有 GPU 都兼容 CUDA。要想了解你的 GPU 是否启用 CUDA可以访问英伟达的网站。举个例子如果你有一台消费级 GPU不管是 GeForce 系列还是 Titan 系列你都可以在下图中看到你的 GPU 是否支持 CUDA。数据截至 2020 年 9 月截图仅含部分型号。如果你的电脑是笔记本你应该看右边的列表如果你的电脑是台式机你显然就该看左边的列表。之前已经提到我的 GPU 是右侧列表中的 RTX 2060 Max-Q。另外你不必在意显卡型号名称是否与该列表中的名称完全匹配Max-Q 和 Super 的底层架构一样只在 TDP、CUDA 核及张量核数量方面有一些差异。比如不管你的 GPU 是 RTX 2080 Super 还是 2080 Max-Q 又或是 2080 Super Max-Q看列表中的 RTX 2080 就够了。但如果你的 GPU 是 RTX 2080Ti 或其它加了 Ti 的型号则说明你的 GPU 是该系列中最高端的那一款这些 GPU 通常在显存大小和 CUDA 核及张量核数量方面更具优势。截至 2020 年 9 月要使用 TensorFlow 2.0显卡计算能力必须高于 3.5但建议使用计算能力至少为 6 的显卡以获得更好的体验。TensorFlow 2.0 还需要 CUDA 10 版本而这又进一步要求驱动版本至少为 418.x。PyTorch 需要的 CUDA 版本至少为 9.2但也支持 10.1 和 10.2。所需的计算能力至少要高于 3.0。CuDNN即 CUDA Deep Neural Network 软件库这是一个用于深度神经网络的 GPU 加速原语库。cuDNN 为前向和反向卷积、池化、归一化和激活层等标准例程提供了经过高度微调的实现。可选TensorRTNVIDIA TensorRT 是一套用于高性能深度学习接口的 SDK。其包含深度学习接口优化器和运行时优化器能为深度学习接口应用提供低延迟和高通量的特性。安装 GPU 驱动首先你需要搞清楚所使用的 GPU 型号而且你的 GPU 必须启用了 CUDA。如果你还没有安装驱动你可能需要运行一次 Windows 更新它会自动处理有用软件的安装过程比如英伟达控制面板。这能帮助你获悉 GPU 的相关信息还有一些与本文无关的设置。英伟达控制面板就绪之后你可以在开始菜单打开它也可以右键点击桌面然后选择英伟达控制面板。打开之后你可以点击「帮助→系统信息」来查看 GPU 驱动版本。驱动版本号列在「细节」窗口的顶部。如上图所示我的驱动版本是 456.x远超过 418.x 的最低要求所以我不必安装新驱动。但你的电脑可能不是这样的。要安装最新版的驱动可访问 https://www.nvidia.com/Download/index.aspx然后输入 GPU 信息下载合适的驱动。驱动下载完成后运行安装包选择快速安装会更轻松。驱动安装完成之后可使用英伟达控制面板进行验证。另一个安装驱动的方法是使用英伟达的 GeForce Experience 应用程序。只要你购买的是主打游戏的电脑应该都预装了该软件。安装过程很简单。这一步是可选的。如果你已经按照上面的步骤安装了驱动或你的电脑没有预装该软件那就不用在乎这个步骤。你可在这里下载该程序https://www.nvidia.com/en-in/geforce/geforce-experience/然后跟着安装流程将其安装到电脑上。安装完成打开它进入驱动选项卡检查更新并安装新驱动。你也可以在该应用中查看驱动的版本号。GeForce Experience 演示现在安装驱动过程中最重要的步骤已经完成你可以选择手动安装 CUDA 工具包也可以选择在安装 TensorFlow 或 PyTorch 时留给 Conda 来安装强烈推荐后者。如果决定手动安装你可以从这里下载安装包https://developer.nvidia.com/cuda-downloads然后跟着指示操作即可。安装 CUDA 工具包CUDA 工具包装好之后你可以在 cmd 或 Powershell 中执行 nvidia-smi 命令进行验证。nvidia-smi 的输出安装 TensorFlow现在终于来到本教程的关键了。如果你已经完成了前述步骤那么这一步会非常简单。我们通过 Conda 来安装 TensorFlow 2.x。要注意首先进入我们之前创建的 tensorflow 环境然后再进行操作。 conda activate tensorflow如果你需要 GPU 支持就运行以下命令 conda install -c anaconda tensorflow-gpu 通过 anaconda 通道安装 TensorFlow 的 GPU 支持软件。使用 conda 而非 pip 安装 TensorFlow 的一大优势是 conda 的软件包管理系统。使用 conda 安装 TensorFlow 时conda 还会安装所有必需和兼容的依赖包。这个过程是自动的用户无需通过系统软件包管理器或其它方式安装任何其它软件。其中也包含 TensorFlow 或 PyTorch 所需的版本合适的 CUDA 工具包。因此使用 conda 能让这个过程变得非常简单。我们只能在安装了 TensorFlow GPU 的环境中看到所安装的 CUDA 工具包。这既不会影响到全局系统的 CUDA 版本同时也能满足 TensorFlow 和 PyTorch 的不同版本 CUDA 需求。这就是使用虚拟环境的最大好处它能让不同的虚拟环境完全隔离开。如果一切顺利你不会在安装过程中看到任何报错信息。要验证 TensorFlow 和所需的软件包是否成功安装你可以执行 conda list这会显示已安装软件包的列表你应该能在其中找到与 TensorFlow 相关的软件包以及 CUDA 工具包。你也可以打开 Python prompt 来验证是否已安装 TensorFlow。 import tensorflow as tftf.version
2.1.0如果你看到了版本号那么恭喜你TensorFlow 已安装成功任务完成。在 Python prompt 中验证 TensorFlow 的安装情况。你在 Python prompt 中使用 TensorFlow 时可能会看到这样的信息「Opened Dynamic Library」但这并不是坏消息。这只是一条日志消息说明 TensorFlow 可以打开这些软件库。GPU 上的安装情况验证将在下文中介绍。如果要安装仅使用 CPU 的 TensorFlow你需要对安装命令进行简单的修改。 conda install -c anaconda tensorflow这将会安装没有 CUDA 工具包和 GPU 支持的 TensorFlow。安装 PyTorch安装 PyTorch 的过程与安装 TensorFlow 其实没太大差异。conda 让这一切都变得非常简单。首先进入我们创建的 torch 环境。 conda activate torch 如果你想安装支持 CUDA 的 PyTorch使用以下命令 conda install pytorch torchvision cudatoolkit -c pytorch 该命令会通过 Conda 的 PyTorch 通道安装兼容 CUDA 的 PyTorch。至于仅使用 CPU 的 PyTorch只需从以上命令中移除 cudatookit 即可 conda install pytorch torchvision cpuonly -c pytorch 这会安装无 CUDA 支持的 PyTorch。和之前一样你可以使用 conda list 验证安装情况也可使用以下代码在 Python 上执行验证。 import torchtorch.version
1.6.0如果返回版本号则说明已成功安装 PyTorch。验证安装情况有时候你觉得一切都很顺利准备开始使用这些工具时却遇到了一些重大错误。如果你正好遇到了这种情况有可能是机器的问题也可能是流程出错了不能一概而论要具体问题具体分析。为了帮助你更好地验证安装情况并确保 TensorFlow 和 PyTorch 使用的是指定的硬件这里分享一些笔记。你可以在 https://github.com/abhinand5/blog-posts 的 dl-setup-win 文件夹中找到它们。你可以克隆这些笔记然后运行其中的代码。如果返回的信息正确你就可以放手开发了。下图是该笔记的代码示例注如果你没有从正确的环境启动 Jupyter Notebook就可能会遇到一些错误。例如如果你想使用 tensorflow 环境你可以从 base 环境启动 notebook然后将核改到 tensorflow 环境但我在这样操作时遇到过报错。因此如果你要运行 TensorFlow就在 tensorflow 环境里启动 Notebook如果你要运行 PyTorch就在 torch 环境中启动 Notebook。不要从 base 或其它地方启动。我的个人经验和替代方法我一直使用这套配置完成一些轻量级的深度学习工作反正这套本地硬件足够了。现在几周过去了一切都还不错。但是在此之前我还尝试过其它一些方法也出现过一些严重问题。比如有一次我尝试了这里的方法https://developer.nvidia.com/cuda/wsl其中涉及在 WSLWindows Subsystem for Linux中启用 CUDA 和英伟达驱动以便使用 GPU 来进行深度学习训练。目前这个功能还在预览阶段但一旦官方发布必将为深度学习实践者带来重大影响。这能将让人惊喜的 WSL 与 CUDA/GPU 驱动结合到一起。不过这是有条件的。要想使用这一功能你必须参与 Windows Insider Program 项目。当然根据我的经历内部预览版往往有很多漏洞。我在使用时遇到过很多问题包括所有 Windows 应用不再响应、GSOD绿屏死机错误、未正确启动、驱动故障。我个人不喜欢不稳定的环境所以选择退出只是时间问题。你有可能在使用预览版时不会遇到任何问题只不过我的经历太糟了所以不推荐使用预览版。其它替代选择包括完全不使用 Windows只使用基于 Linux 的系统享受更加流畅的体验。只不过 Linux 没有 Windows 中那样花哨的 GUI 安装工具。本文介绍了如何在 Windows 系统中安装 TensorFlow、PyTorch 和 Jupyter 工具希望对大家有所帮助。原文链接https://towardsdatascience.com/setting-up-your-pc-workstation-for-deep-learning-tensorflow-and-pytorch-windows-9099b96035cb
