第 2 章环境配置 on 《从零学AI指南手册》

2.1 体系结构介绍

Mon, 01 Jan 0001 00:00:00 +0000

第 2 章环境配置#

在介绍完深度学习的发展历史以后，我们将正式开始迈入深度学习的原理与应用实践学习中。在正式介绍深度学习的内容之前我们先来介绍如何从零安装配置深度学习的代码运行环境。同时，由于本书所有内容都是基于PyTorch这一深度学习框架所展开的，所以在环境安装这部分将主要以PyTorch为例进行介绍说明。

2.1 体系结构介绍#

深度学习代码的运行环境主要是依托一系列的基础软件设施，例如GPU驱动、CUDA Toolkit、CUDNN、Python和PyTorch深度学习框架等等。为了帮助各位读者能够更加清晰地理解它们之间的关系，同时也方便后续深度学习环境安装过程的理解，在本节内容中我们将会先简单介绍一下整个深度学习环境的体系结构以及一一些其它的相关基础知识。

2.1.1 基础软硬件设施#

想要能够使用GPU硬件来运行一套基于Python语言的深度学习项目，一些基础的软硬件设施是必不可少的。这些基础软件包括GPU、GPU Driver、Nvidia CUDA Toolkit、CUDNN Library、Python、Conda和深度学习框架等。对于这些基础软硬件设施，我们可以通过如图2-1所示的形式来表示它们之间的依存关系。

图 2-1 基础软硬件结构图

如图2-1所示便是这些基础软硬件设施以操作系统为核心的层次结构关系。下面我们对其中的部分术语进行一个简单的介绍：

操作系统（Operating System, OS）：操作系统是管理计算机硬件与软件资源的系统软件，它为各种应用软件提供了一个基础平台。操作系统负责管理和协调硬件与软件资源，提供用户界面，并执行用户命令和控制程序执行。
图形处理单元（Graphics Processing Unit, GPU）：GPU是一种专门设计用于处理图像和视频数据的强大处理器。近年来，由于其并行处理能力，GPU已被广泛用于高性能计算任务，特别是在科学计算和机器学习领域。
GPU驱动（GPU Driver）：GPU驱动是一种软件，它允许操作系统和其他软件使用特定的图形处理单元，它负责在GPU和操作系统之间提供必要的接口和支持以便有效地利用GPU的处理能力。
Nvidia CUDA工具包（Nvidia Compute Unified Device Architecture Toolkit ）：是由Nvidia开发的一个工具平台，它允许开发者使用Nvidia GPU进行通用计算。CUDA工具包中包含用于开发CUDA应用程序的编译器、库和调试工具等，以便开发者能够在Nvidia GPU上编写和运行CUDA程序。
CUDNN库（CUDA Deep Neural Network Library）：是一个由Nvidia提供专为深度神经网络计算而设计的GPU加速库，它提供了高度优化的常用深度学习操作（如卷积运算），优化了在Nvidia GPU上执行深度学习算法的效率使得在Nvidia GPU上进行网络训练更加高效。
Python：Python是一种高级编程语言，以其简洁明了的语法和强大的库支持而闻名。在数据科学、机器学习和人工智能领域，Python因其易于学习和使用，以及广泛的社区支持，而成为了一种非常流行的语言。
PyTorch：PyTorch [1]是Meta公司一个开源的深度学习框架，它提供了灵活的计算图，广泛的深度学习算法支持，并能够有效地利用GPU加速。与之类似的还有Google公司开源的TensorFlow [2] 、亚马逊公司开源的MXNet [3] 以及百度公司开源的PaddlePaddle [4]等等。
Conda：是一个开源的包管理器，主要用于对Python开发环境的管理与隔离。

以上就是图2-1中各个部分的介绍，简单总结就是，操作系统负责统筹分配与协调各类软硬件资源；GPU是一种具有超高并行计算处理能力的硬件，而GPU驱动则是操作系统能够驱动该硬件的前提；Nvidia CUDA Toolkit是一个包含用于开发CUDA应用程序的编译器、库和调试工具的平台，而CUDNN是基于Nvidia CUDA Toolkit专为深度神经网络计算设计的GPU加速库；PyTorch是一种深度学习计算框架，提供了广泛的深度学习算法支持。这些技术共同构成了现代高性能计算和深度学习的基础框架，允许研究人员和开发者构建和部署复杂的计算密集型应用程序。

2.1.2 版本依赖关系#

由于整套基于Nvidia GPU资源的计算环境涉及到多个软件的使用，所以在安装配置深度学习环境时尤其需要注意各个软件之间的版本依赖关系。通常来说，如果个软件之间版本不匹配则可能会出现部分软件无法安装，或者即使安装成功后也无法正常运行。根据图2-1可知，整个计算环境涉及到的软件版本有：操作系统版本（如Ubuntu 22.04）、GPU驱动版本（如Driver Version 418.39）、CUDA Toolkit版本（如CUDA 10.2）、CUDNN版本（如cuDNN v8.0.1）、PyTorch版本（如PyTorch 2.0）和Python版本。

2.2 深度学习环境安装

Mon, 01 Jan 0001 00:00:00 +0000

2.2 深度学习环境安装#

在上一节内容中我们详细介绍了深度学习环境中的一些基础知识，在本节内容中我们将进一步来介绍如何分别在Windows平台和Linux平台上安装基于Python的深度学习环境，并完成相关的测试。

2.2.1 Windows环境下#

由于深度学习框架和相关的库通常是在Linux上开发和测试的，因此在Windows上可能会遇到一些兼容性问题。同时，在相同的硬件基础上软件在Linux上的性能通常比在 Windows上更好，并且在Linux上也更容易进行优化。因此通常我们只会在Windows环境下安装CPU版本的PyTorch用于程序编码，然后再放到GPU环境中进行训练。

1. Conda安装

首先在官网 [1]下载最新版Windows平台下的Miniconda3安装包，然后按照如下安装步骤进行即可。

①安装Miniconda

双击扩展名为.exe的安装包进行安装，如果后续无特殊说明，保持默认安装项并直接单击Next按钮即可，如图2-2所示。

图2-2 Miniconda安装界面图

②指定安装目录

在安装过程中还可以自定义安装路径，但一般情况下保持默认安装路径即可，如图2-3所示。

图2-3 Miniconda安装路径界面图

③高级设置

当安装过程执行到这一步时，保持默认直接单击Install按钮即可，如图2-4所示。

图 2-4 高级设置界面图

④安装完成

安装完成后，单击Finish按钮，如图2-5所示。接下来可以通过打开命令行，然后输入相关命令来测试是否安装成功。

图 2-5 Miniconda安装完成界面图

⑤验证

当完成上述安装后，便可以在“开始”菜单栏中找到Anaconda Prompt(Miniconda)命令行终端，单击此命令行终端，打开后输入conda -V命令，如果出现相关版本信息则表示安装成功，如图2-6所示。

图 2-6 验证Miniconda安装图

同时，根据图2-6所示在完成Miniconda安装以后会有一个默认名为的base的Python环境。

⑥替换源

在安装完成Miniconda后，这里需要将默认的Conda源替换成清华大学对应的镜像源。我们直接在图2-6所示的界面中继续输入如下两行命令：

1 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
2 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

2. Python环境安装

在完成Conda包管理器的安装以后，我们根据2.1.3节中的conda create -n py38 python=3.8命令新建一个名为py38的Python虚拟环境，如图2-7所示。

图 2-7 Python虚拟环境安装图

从图2-7可以看出，新建py38这一虚拟环境时所使用到的Conda源便是我们上面添加的清华Conda源。同时，py38这个虚拟环境的保存路径为C:\Users\wangcheng\miniconda3\envs\py38目录。值得一提的是，对于每个Python虚拟环境来说，通过pip install命令安装的Python包及其安装文件都在虚拟环境下的lib\python3.x\site-packages中，知道该路径便于在需要时查找源码。例如对于py38这个虚拟环境来说，安装文件均在C:\Users\wangcheng\miniconda3\envs\py38\lib\python3.8\site-packages里面。

进一步，在安装完成以后我们便可以通过命令conda activate py38来激活我们新建的Python环境，如图2-8所示。

2.3 开发环境安装配置

Mon, 01 Jan 0001 00:00:00 +0000

2.3 开发环境安装配置#

在Python开发中，最常用的集成开发环境（Integrated Development Environment, IDE）有两个：一个是Jupyter Notebook，而另一个则是大名鼎鼎的PyCharm。在本节内容中，我们将分别就这两种常见开发工具的使用方法做一个简单的介绍。

2.3.1 Jupyter Notebook安装与使用#

Jupyter Notebook是一个非常强大的工具，尤其是在数据科学、科学研究和展示复杂数据分析项目等方面。Jupyter提供了交互式的编程环境、允许我们分段运行代码和持久化保留运行结果，这使得实验性分析和数据探索变得非常简单。同时，Jupyter开发页面对数据可视化工具（如 Matplotlib、Seaborn、Plotly 等）也有很好的支持，使得创建交互式图表和可视化变得简单。此外，Jupyter还支持在开发页面以Markdown格式来撰写相关说明文档。

1. Jupyter Notebook安装

Jupyter Notebook同其它Python软件包一样，我们可以直接使用pip install来进行安装。这里需要注意的是，由于Jupyter本质上也是一个Python软件，所以我们可以在不同的Python虚拟环境中安装Jupyter，这也就意味着我们启动不同环境下的Jupyter时对应的Python环境就是该Jupyter所在的Python环境。

例如我们需要在2.2.2节内容中建立的py38这个虚拟环境中安装Jupyter，那么我们首先需要使用conda命令进入到该虚拟环境，然后进行安装。安装命令如下所示：

1 conda activate py38
2 pip install notebook

2. Jupyter Notebook使用

在完成Jupyter安装以后，我们可以直接通过命令jupyter notebook进行启动，默认为8888端口，当然我们还可以通过--port参数来指定端口。同时，如果使用的是root用户可能会出现无法启动的现象，此时可加入参数 --allow-root来进行启动。完整命令如下所示：

1 jupyter notebook --ip=0.0.0.0 --port=8778 --allow-root

在启动完成后我们便会看到如图2-25所示的结果。

图 2-25 Jupyter notebook启动页面图

进一步，我们在本地浏览器中输入服务器的地址和端口，例如http://23.10.8.221:8778，然后便能看到类似图2-26的界面。

图 2-26 Jupyter Notebook登录

然后将图2-25中的token粘贴到图2-26中的输入框，然后点击Log in按钮即可完成登录，并看到类似如图2-27的界面。如果是在自己本地主机上启动Jupyter，则只需要通过命令jupyter notebook，然后在浏览器中打开链接http://127.0.0.1:8778即可使用Jupyter工具。

图 2-27 Jupyter Notebook界面图

如图2-27所示，当前所展示的内容就是服务器上启动运行Jupyter Notebook所在目录的内容。此时我们点击左上角的File按钮，并新建一个Notebook文件，如图2-28所示。

图 2-28 新建Notebook文件图

在图2-28中点击Notebook以后将会出现选择Python解释器的弹窗，如图2-29所示。

图 2-29 Python解释器选择

如图2-29所示，选择当前默认的Kernel即可，即使用Jupyter Notebook所在的Python环境来解释后续代码，点击Select按钮继续。

第 2 章 环境配置 on 《从零学AI指南手册》

2.1 体系结构介绍

第 2 章 环境配置#

2.1 体系结构介绍#

2.1.1 基础软硬件设施#

2.1.2 版本依赖关系#

2.2 深度学习环境安装

2.2 深度学习环境安装#

2.2.1 Windows环境下#

2.3 开发环境安装配置

2.3 开发环境安装配置#

2.3.1 Jupyter Notebook安装与使用#

第 2 章环境配置 on 《从零学AI指南手册》

第 2 章环境配置#