用Docker部署打包Python运行环境

电脑知识 投稿 65300 0 评论

用Docker部署打包Python运行环境

1. Docker基础

1.1 Docker架构

Docker使用客户端服务器架构。Docker客户端与Docker守护进程会话,后者复杂构建、运行和分发Docker容器的繁重工作。Docker客户端和守护程序可以在同一系统运行,也可以将Docker客户端连接到远程Docker守护进程。Docker客户端和守护程序通过REST API(采用一种简洁的URL风格规范)通信,其底层基于UNIX套接字或网络接口。其架构示意图如下:

Docker注册表存储Docker镜像(你可以类比为Maven的repo)。Docker Hub 是一个任何人都可以使用的公共注册表,并且 Docker 默认配置为在Docker Hub上查找镜像。我们也可以运行自己的私有注册表。我们可以调用从注册表中拉取镜像。当我们命令时,系统会从先从本地寻找镜像,如果本地找不到,则会从Docker Hub拉取。当我们使用命令时,镜像会被推送到我们配置的注册表中。可以看出,Docker镜像版本控制和Git类似。

1.2 Docker对象

    镜像 镜像可视为一个只读模板,其中包含创建 Docker 容器的指令。通常,一个镜像基于另一个镜像,并带有一些额外的自定义。例如可以基于现有的ubuntu镜像,来构建安装有其它应用程序的镜像。要构建我们自己的镜像,需要使用简单的语法创建一个Dockerfile,用于定义创建和运行镜像所需的步骤。

  • 容器
    容器是镜像的可运行实例(类似于进程和程序的关系)。我们可以使用 Docker API 或 CLI 创建、启动、停止、移动或删除容器。我们可以将容器连接到一个或多个网络。

2. 启动Docker进程并运行镜像

2.1 启动Docker守护进程

Linux

$ sudo service docker start # Ubuntu/Debian

如果您是RedHat/Centos,则需要运行:

$ sudo systemctl start docker

MacOS

brew install docker-machine

然后启动:

(base) orion-orion@MacBook-Pro ~ % brew services start docker-machine
==> Successfully started `docker-machine` (label: homebrew.mxcl.docker-machine)

2.2 运行镜像

之后我们就可以尝试运行Docker镜像了。比如我们下面用命令运行镜像:

(base) orion-orion@MacBook-Pro ~ % docker run -d -p 80:80 docker/getting-started 
Unable to find image 'docker/getting-started:latest' locally
latest: Pulling from docker/getting-started
9981e73032c8: Pull complete 
e5f90f35b4bc: Pull complete 
ab1af07f990a: Pull complete 
bd5777bb8f79: Pull complete 
a47abff02990: Pull complete 
d4b8ebd00804: Pull complete 
6bec3724f233: Pull complete 
b95ca5a62dfb: Pull complete 
Digest: sha256:b558be874169471bd4e65bd6eac8c303b271a7ee8553ba47481b73b2bf597aae
Status: Downloaded newer image for docker/getting-started:latest
cc167092ff76941a25fe51da25fbbfe6a0a70cc07171fa5f56707f3bf7383e6a

可以看到由于没有在本地找到镜像,Docker从远处Docker Hub注册表上pull下来。

(base) orion-orion@MacBook-Pro ~ % docker ps       
CONTAINER ID   IMAGE                    COMMAND                  CREATED          STATUS          PORTS                NAMES
cc167092ff76   docker/getting-started   "/docker-entrypoint.…"   29 minutes ago   Up 29 minutes   0.0.0.0:80->80/tcp   epic_lehmann

可以用终止镜像运行:

(base) orion-orion@MacBook-Pro ~ % docker stop cc167092ff76
cc167092ff76
(base) orion-orion@MacBook-Pro ~ % docker ps   
CONTAINER ID   IMAGE     COMMAND   CREATED   STATUS    PORTS     NAMES

用查看有哪些本地镜像:

(base) orion-orion@MacBook-Pro ~ % docker images                                 
REPOSITORY               TAG       IMAGE ID       CREATED       SIZE
docker/getting-started   latest    157095baba98   4 weeks ago   27.4MB

3. 用Docker打包Python环境

接下来我们看如何用Docker打包一个Python环境。
首先,我们编写一个Python小Demo:

import numpy as np
import matplotlib.pyplot as plt
x = np.arange(-10, 10, 0.01)
y = x**2
plt.plot(x, y)
plt.savefig("/out/quad.png") 
# 此处的/out为容器内的绝对路径,无需手动创建,
# 后面我们会设置挂载参数自动生成该目录

然后我们编辑好:

numpy==1.21.3
matplotlib==3.4.3

再编辑好:

# syntax=docker/dockerfile:1

FROM python:3.9-slim-buster

WORKDIR /draw_quad

COPY requirements.txt requirements.txt
RUN pip3 install -r requirements.txt 

COPY . .

CMD [ "python3", "draw_quad.py"]

我们来细细看每一部分。

之后,我们需要告诉Docker我们在应用中使用什么基础镜像。由于Docker镜像可以从其它镜像继承,因此我们并不构建自己的基础镜像,而是使用官方的Python镜像,即。

接着,我们将放入镜像后,就可以使用命令来执行了,这和我们在本地安装的经验完全相同,不过这次是将模块安装到镜像中。

命令将源代码添加到镜像中,即DockerFile中的。

最终的项目目录如下:

draw
|____ draw_quad.py
|____ requirements.txt
|____ Dockerfile

然后我们就可以构建docker镜像了(用参数指定镜像名称):

(base) orion-orion@MacBook-Pro draw % docker build --tag draw .                 
[+] Building 9.1s (14/14) FINISHED                                                                                             
 => [internal] load build definition from Dockerfile                                                                      0.0s
 => => transferring dockerfile: 37B                                                                                       0.0s
 => [internal] load .dockerignore                                                                                         0.0s
 => => transferring context: 2B                                                                                           0.0s
 => resolve image config for docker.io/docker/dockerfile:1                                                                4.9s
 => CACHED docker-image://docker.io/docker/dockerfile:1@sha256:443aab4ca21183e069e7d8b2dc68006594f40bddf1b15bbd83f5137bd  0.0s
 => [internal] load build definition from Dockerfile                                                                      0.0s
 => [internal] load .dockerignore                                                                                         0.0s
 => [internal] load metadata for docker.io/library/python:3.9-slim-buster                                                 3.9s
 => [1/5] FROM docker.io/library/python:3.9-slim-buster@sha256:830e161433edfe047a23ebc99c12ee0eb1dc0a50e6b5f1c98e869ac27  0.0s
 => [internal] load build context                                                                                         0.0s
 => => transferring context: 594B                                                                                         0.0s
 => CACHED [2/5] WORKDIR /draw_quad                                                                                       0.0s
 => CACHED [3/5] COPY requirements.txt requirements.txt                                                                   0.0s
 => CACHED [4/5] RUN pip3 install -r requirements.txt                                                                     0.0s
 => [5/5] COPY . .                                                                                                        0.0s
 => exporting to image                                                                                                    0.0s
 => => exporting layers                                                                                                   0.0s
 => => writing image sha256:18f3a254f4ce46faa17142ece6bfd442e9157e79510ca60a789ab4d4b1a12498                              0.0s
 => => naming to docker.io/library/draw                                        0.0s

我们输入命令可以看到名称为的镜像已经构建成功。

(base) orion-orion@MacBook-Pro Draw % docker images
REPOSITORY               TAG       IMAGE ID       CREATED          SIZE
draw                     latest    f1fc30becc34   46 seconds ago   251MB

然后就可以运行镜像了(包含文件系统挂载操作):

(base) orion-orion@MacBook-Pro draw % docker run -d -v ${PWD}/out:/out draw
0e04d81d254fcd963924ee2492b82a6c895789525f09943b43ce0b46ac0d63a9

注意,为宿主机的目录,意思为当前目录下的文件夹,如果不存在则会自动为我们创建。为该容器中的绝对路径,在容器启动会自动创建目录。

我们可以看到,成功在宿主机当前目录下的文件中生成:

(base) orion-orion@MacBook-Pro draw % ls out           
quad.png

编程笔记 » 用Docker部署打包Python运行环境

赞同 (61) or 分享 (0)
游客 发表我的评论   换个身份
取消评论

表情
(0)个小伙伴在吐槽