正文

（数据科学学习手札81）conda+jupyter玩转数据科学环境搭建

IP云
IP云V管理员/5 阅读
11/28
提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

本文示例yaml文件已上传至我的 Github 仓库https://github.com/CNFeffery/DataScienceStudyNotes

1 简介

我们在使用 Python 进行数据分析时，很多时候都在解决环境搭建的问题，不同版本、依赖包等问题经常给数据科学工作流的搭建和运转带来各种各样令人头疼的问题，本文就将基于笔者自己摸索出的经验，以 geopandas 环境的搭建为例，教你使用 conda + jupyter 轻松搞定环境的搭建、管理与拓展。

图1

2 虚拟环境的搭建与使用

2.1 使用conda创建虚拟环境

以 Windows 操作系统为例，因为全程主要使用命令行，所以其他系统方法类似，有少许语句有差异的地方遇到问题时可以自行查找解决。首先我们要解决的是环境的创建，第一步需要安装 conda 服务，这里我们有 Anaconda 和 miniconda 两种方式，本文选择 miniconda 体积小巧，不会像 Anaconda 那样自带数量众多的科学计算相关包而显得臃肿。

有条件上外网的读者朋友可以在官网（ https://docs.conda.io/en/latest/miniconda.html ）下载与你的操作系统对应的安装包，也可以在 清华大学镜像站 - 获取下载链接 - 应用软件 - Conda （ https://mirrors.tuna.tsinghua.edu.cn/ ）中下载对应的最新的安装包：

图2

本文选择的是从官网下载的最新版本 4.8.2 ，因为 miniconda 自带 Python ，之后所有新环境的创建我们都可以通过 conda 来实施，所以建议你在安装之前系统中不要保有其他 Python 环境。下载完成之后直接打开安装，一路可以按照默认的选项继续，到图3显示的步骤时为了方便之后的使用建议都勾选上：

图3

完成安装后我们进入控制台输入 conda --version 检查是否成功安装： 

C:\Users\hp>conda --version

conda 4.8.2

输入 conda env list 查看当前存在的所有环境： 

C:\Users\hp>conda env list

# conda environments:

#

base                  *  C:\Conda

可以看到我们当前只有1个环境 base ，即 miniconda 自带的 Python ，因为图3中我们勾选了 Register Miniconda3 as the system Python 3.7 ，所以在控制台中直接输入 python 可以得到下列结果： 

C:\Users\hp>python

Python 3.7.6 (default, Jan  8 2020, 20:23:39) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32

Warning:

This Python interpreter is in a conda environment, but the environment has

not been activated.  Libraries may fail to load.  To activate this environment

please see https://conda.io/activation

Type "help", "copyright", "credits" or "license" for more information.

>>> quit() # 退出

C:\Users\hp>

控制台输入 conda list 可以看到当前仅有的 base 环境中仅有下列包： 

C:\Users\hp>conda list

# packages in environment at C:\Conda:

#

# Name                    Version                   Build  Channel

asn1crypto                1.3.0                    py37_0    defaults

ca-certificates           2020.1.1                      0    defaults

certifi                   2019.11.28               py37_0    defaults

cffi                      1.14.0           py37h7a1dbc1_0    defaults

chardet                   3.0.4                 py37_1003    defaults

conda                     4.8.2                    py37_0    defaults

conda-package-handling    1.6.0            py37h62dcd97_0    defaults

console_shortcut          0.1.1                         4    defaults

cryptography              2.8              py37h7a1dbc1_0    defaults

idna                      2.8                      py37_0    defaults

menuinst                  1.4.16           py37he774522_0    defaults

openssl                   1.1.1d               he774522_4    defaults

pip                       20.0.2                   py37_1    defaults

powershell_shortcut       0.0.1                         3    defaults

pycosat                   0.6.3            py37he774522_0    defaults

pycparser                 2.19                     py37_0    defaults

pyopenssl                 19.1.0                   py37_0    defaults

pysocks                   1.7.1                    py37_0    defaults

python                    3.7.6                h60c2a47_2    defaults

pywin32                   227              py37he774522_1    defaults

requests                  2.22.0                   py37_1    defaults

ruamel_yaml               0.15.87          py37he774522_0    defaults

setuptools                45.2.0                   py37_0    defaults

six                       1.14.0                   py37_0    defaults

sqlite                    3.31.1               he774522_0    defaults

tqdm                      4.42.1                     py_0    defaults

urllib3                   1.25.8                   py37_0    defaults

vc                        14.1                 h0510ff6_4    defaults

vs2015_runtime            14.16.27012          hf0eaf9b_1    defaults

wheel                     0.34.2                   py37_0    defaults

win_inet_pton             1.1.0                    py37_0    defaults

wincertstore              0.2                      py37_0    defaults

yaml                      0.1.7                hc54c509_2    defaults

接下来我们开始来搭建本文用于举例说明的 geopandas 环境，使用 conda create -n 环境名称 python=版本 来创建新的环境，譬如这里我们创建名为 python_spatial 的虚拟环境， Python 版本选择 3.7 ： 

C:\Users\hp>conda create -n python_spatial python=3.7

遇到 Proceed ([y]/n)? 输入y继续，等相关资源下载并安装配置完成后，再次查看当前存在的所有环境： 

C:\Users\hp>conda env list

# conda environments:

#

base                  *  C:\Conda

python_spatial           C:\Conda\envs\python_spatial

可以看到与之前相比多了我们刚刚创建好的 python_spatial 环境，使用 conda activate 环境名称 来激活指定的环境： 

C:\Users\hp>conda activate python_spatial

(python_spatial) C:\Users\hp>

可以发现这时命令行开头多了 (python_spatial) ，这代表我们已经进入激活的 python_spatial 环境中，接着我们就可以使用 conda 命令在当前环境中安装 geopandas ，按照官网的推荐方式从 conda-forge 对应的 channel 进行安装，执行 conda install --channel conda-forge geopandas ，遇到需要选择的地方一样地输入y，这里依赖包较多，需要等待较长时间，直到最后 done 出现表示安装成功，在控制台中直接进入 python ，检查 geopandas 是否正确安装： 

(python_spatial) C:\Users\hp>python

Python 3.7.7 (default, Mar 23 2020, 23:19:08) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32

Type "help", "copyright", "credits" or "license" for more information.

>>> import geopandas as gpd

>>>

至此，我们已经完成了 geopandas 基础环境的搭建，接下来我们来配置使用 jupyter 。

2.2 配置jupyter lab

类似 conda ， jupyter 也分为 jupyter notebook 和 jupyter lab ，两者核心功能都差不多，但 jupyter lab 拥有更多的拓展功能，并且界面和操作方式也更加炫酷方便，所以本文选择 jupyter lab ，在上一节中创建好的 python_spatial 环境下使用 conda install jupyterlab 安装基础部分，安装结束之后，在 python_spatial 环境下可以通过执行 jupyter lab 来打开它，在此之前需要先为 jupyter lab 配置虚拟环境，否则只能识别到默认的 base 环境。

  • 安装ipykernel

    退出虚拟环境后执行 conda install ipykernel 。

  • 为虚拟环境安装ipykernel

    执行 conda install -n python_spatial ipykernel 。

  • 激活虚拟环境&将虚拟环境写入jupyter的kernel中 

C:\Users\hp>conda activate python_spatial

(python_spatial) C:\Users\hp>python -m ipykernel install --user --name python_spatial --display-name

   "spatial"

Installed kernelspec python_spatial in C:\Users\hp\AppData\Roaming\jupyter\kernels\python_spatial

(python_spatial) C:\Users\hp>

这时我们在 jupyter lab 中已经可以切换到 python_spatial 环境了，接下来为了使用 jupyter lab 的插件拓展，需要安装 nodejs ，我们在 python_spatial 下执行 conda install nodejs 即可，完成安装之后根据自己对插件功能的需要可以分别安装不同的插件，下面举几个常用的例子：

  • html交互部件插件

    为了在 jupyter lab 中渲染一些html部件，譬如 tqdm 中的交互式进度条，在虚拟环境下执行下列命令： 

pip install ipywidgets

jupyter labextension install @jupyter-widgets/jupyterlab-manager

完成后执行 jupyter lab ，在打开的操作界面中 notebook 下点击 python_spatial 创建新的notebook，执行如下命令（请提前安装好 tqdm ），可以看到出现了 交互式 的进度条：

图4

  • 目录插件

    在 ipynb 文件中可以用 markdown 编写各级别标题，在使用下列插件自动生成目录： 

jupyter labextension install @jupyterlab/toc

图5

  • matplotlib交互式绘图

    使用 matplotlib 交互式绘图模式： 

pip install ipympl

jupyter labextension install @jupyter-widgets/jupyterlab-manager jupyter-matplotlib

安装完成后就可以使用 %matplotlib widget 开启交互式绘图模式（请提前安装好 geopandas 绘图依赖包 descartes ）：

图6

你也可以在侧边栏中发现更多的实用插件：

图7

2.3 虚拟环境的备份和恢复

conda 提供了将虚拟环境导出为 yaml 文件的功能，使得我们可以保留好不容易创建好的虚拟环境中的配置信息，格式如 conda env export > 导出路径\文件名.yml ，譬如我们导出前面创建好的 python_spatial 到所需路径下： 

(python_spatial) C:\Users\hp>conda env export > C:\Users\hp\Desktop\python_spatial.yml

(python_spatial) C:\Users\hp>

之后你可以在安装好 conda 服务的其他机器上按照 conda env create -n 新环境名称 -f 路径\文件名.yml ，譬如我们就在本机上用已经导出的 python_spatial.yml 复制为新的虚拟环境，耐心等待之后 conda 会自动完成前面所有我们手动实现的步骤： 

conda env create -n new_python_spatial -f C:\Users\hp\Desktop\python_spatial.yml

之后只需要像前文中一样执行 python -m ipykernel install --user --name new_python_spatial --display-name "new spatial" 从而为 jupyter lab 添加新的虚拟环境的 kernel 信息，在 new_python_spatial 环境下启动 jupyter lab ，这是我们可使用的环境变成了3个：

图8

2.4 虚拟环境的移除

使用 conda remove -n 环境名称 --all 来移除已经创建的环境，譬如我们使用 conda remove -n new_python_spatial -all 将 new_python_spatial 移除之后，再次查看所有环境： 

C:\Users\hp>conda env list

# conda environments:

#

base                  *  C:\Conda

python_spatial           C:\Conda\envs\python_spatial

但这时会存在一个恼人的地方，我们这里只是移除了虚拟环境，但前面注册到 jupyter lab 中的 kernel 还会显示，但实际上是没有对应环境存在的，所以强行选择已经移除的环境对应的 kernel 会报错：

图9

控制台中使用 jupyter kernelspec list 查看信息： 

C:\Users\hp>jupyter kernelspec list

Available kernels:

  new_python_spatial    C:\Users\hp\AppData\Roaming\jupyter\kernels\new_python_spatial

  python_spatial        C:\Users\hp\AppData\Roaming\jupyter\kernels\python_spatial

  python3               C:\Conda\share\jupyter\kernels\python3

接着使用 jupyter kernelspec remove kernel名称 对其进行移除即可： 

C:\Users\hp>jupyter kernelspec remove new_python_spatial

Kernel specs to remove:

  new_python_spatial    C:\Users\hp\AppData\Roaming\jupyter\kernels\new_python_spatial

Remove 1 kernel specs [y/N]: y

[RemoveKernelSpec] Removed C:\Users\hp\AppData\Roaming\jupyter\kernels\new_python_spatial

之后在启动 jupyter lab 就会发现残余的 kernel 跟着消失了，而如果想要修改某个 kernel 的显示名称，可以同样在对应的虚拟环境下使用 jupyter kernelspec list 查看每个 kernel 以及其对应的路径，前往路径下把 kernel.json 中 display_name 键对应的值改成新名称即可。

以上就是本文的全部内容，对应的 yaml 文件已上传至文章开头的 Github 仓库中，你可以直接基于它创建对应本文 python_spatial 的虚拟环境，如有疑问之处可以留言或在 Github 仓库下创建 issues 向我提问。

相关阅读

目录[+]