Py学习  »  docker

Docker环境配置指南!

天池大数据科研平台 • 3 年前 • 394 次点击  
↑↑↑关注后"星标"天池大数据科研平台
人人都可以玩转大数据

 阿里云天池发布 

来源:Tianchi,内容:Docker环境配置
Docker是一个开源的引擎,可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署,包括VMs(虚拟机)、 bare metal、OpenStack 集群和其他的基础应用平台。

Docker通常用于如下场景:

  • web应用的自动化打包和发布;
  • 自动化测试和持续集成、发布;
  • 在服务型环境中部署和调整数据库或其他的后台应用;
  • 从头编译或者扩展现有的OpenShift或Cloud Foundry平台来搭建自己的PaaS环境。
Docker强大的功能,越来越多的场景下,需要我们使用Docker部署和发布我们的代码。今天就梳理下,如何入门Docker。


一、本地环境安装docker工具

ubutun安装

这里以阿里云ECS(ubutun)下安装docker为例。命令行安装:

sudo apt install docker.io

验证:

docker info

Mac安装

下载MAC版本的docker:

https://hub.docker.com/editions/community/docker-ce-desktop-mac/

Windows安装

下载Windows版本的docker: 

https://hub.docker.com/editions/community/docker-ce-desktop-windows/

注意:下载成功后,直接install就可以了,一路Next即可安装完成。请自己的docker id,登陆;

二、创建镜像仓库

这里以申请阿里云容器镜像服务(免费),并创建仓库为例,其他仓库如dockerhub、谷歌、亚马逊、腾讯等详见对应产品说明书。

阿里云容器服务地址为:https://cr.console.aliyun.com

注册开通后产品页面如下

1. 创建命名空间

第一步切换标签页到命名空间,创建地址唯一的命名空间

根据大赛要求选择对应的地域,其他的按照自己需求选择或填写

2. 创建镜像仓库

下一步,选择本地仓库,不建议其他选项,完成创建。

点击管理,可查看详情。

3. 完成本地登录

按照页面的指令在本地完成登陆:

export DOCKER_REGISTRY= your_registry_url (注意这里your_registry_url最后字段结尾,不能多不能少
E.g registry.cn-shanghai.aliyuncs.com/xxxx/xxxx) docker login $DOCKER_REGISTRY \ --username your_username \ --password your_password

三、构建镜像并推送

在安装好Docker环境的本机/服务器构建并推送容器镜像。过程中可能会使用docker命令,如拉取 docker pull,推送docker push,构建docker build等等。

为简化构建镜像的难度,天池已准备了常用的Python基础镜像,可直接拉取使用,自行构建镜像请确保安装curl.更多基础镜像说明可参考:https://tianchi.aliyun.com/forum/postDetail?postId=67720。

docker pull registry.cn-shanghai.aliyuncs.com/tcc-public/python:3

1. 准备所需文件

新建一个文件夹(例如tianchi_submit_demo)用于存放这次任务镜像所需的文件,文件夹中内容示例,其中hello_world.py中是各位自己的代码部分:

Dockerfile配置文件参考,Dockerfile是固定名称,注意首字母大写。Dockerfile中命令皆大写:

# Base Images
## 从天池基础镜像构建
FROM registry.cn-shanghai.aliyuncs.com/tcc-public/python:3

## 把当前文件夹里的文件构建到镜像的根目录下
ADD . /

## 指定默认工作目录为根目录(需要把run.sh和生成的结果文件都放在该文件夹下,提交后才能运行)
WORKDIR /

## 镜像启动后统一执行 sh run.sh
CMD ["sh""run.sh"]

run.sh参考:

python hello_world.py

2. 构建镜像并推送(2.1及2.2皆可)

2.1 IDE + Cloud Toolkit

推荐使用 Alibaba Cloud Toolkit:https://cn.aliyun.com/product/cloudtoolkit 进行操作。

Cloud Toolkit 与主流 IDE 及阿里云容器镜像服务无缝集成,可以简化操作。这里以在 IntelliJ IDEA 中使用 Alibaba Cloud Toolkit 为例。只需配置一次,之后都可一键推送~

2.1.1. 安装及配置

在本地 IDE 中安装 Alibaba Cloud Toolkit 并进行阿里云账户配置。

参见:在 IntelliJ IDEA 中安装和配置 Cloud Toolkit:https://help.aliyun.com/document_detail/98762.html

2.1.2. 设置环境

设置用于打包本地镜像的 Docker 环境。

  1. 在 IntelliJ IDEA 工具栏单击 Tools > Alibaba Cloud > Preferences…

  2. 在 Settings 对话框的左侧导航栏中单击 Docker

  3. 在 Docker 界面中设置 Cloud Toolkit 需要连接的 Docker 环境。

注意:如果出现连接测试报错,可进入 Docker 的 Settings 界面,单击左侧导航栏中的 General,然后选择 Expose daemon on tcp://localhost:2375 without TLS。

    • 本地为 Mac 或 Linux 操作系统,勾选 Unix Socket,然后单击 Browse,输入unix:///var/run/docker.sock
    • 本地为 Windows 操作系统,勾选 TCP Connection,然后在 URI 右侧文档框输入本地 Docker 的 URI,如 http://127.0.0.1:2375。
    • 远程 Docker 环境:勾选 Tcp Connection,在 URI 右侧的文本框里输入远端的 Docker 环境的 URI(包括 IP 地址和端口),如 http://x.x.x.x:2375,并确保远程主机的 HTTP 服务开启。
    • 单击 Test Connection 进行连接测试。

    2.1.3. 构建并上传应用

    1. 在 IntelliJ IDEA 的菜单栏中选择 File > Open… ,选择参赛的工程文件。
    2. 在 IntelliJ IDEA 界面左侧的 Project 中右键单击您的 Docker 应用工程名,在弹出的下拉菜单中选择 Alibaba Cloud > Deploy to ACR/ACK > Deploy to ACR
    3. 在 Deploy to ACR 对话框中进行以下配置。
    • Context Directory:参赛的工程文件所在的目录,例如上文中的 tianchi_submit_demo 。
    • Dockerfile:选择上文中创建的 Dockerfile。
    • Version:对上传的工程文件做版本标记。例如 1.0
    1. 在 Image 页签中选择Context Directory和Dockerfile。
    2. 在 Image Repositories 区域选择上文中创建的容器镜像服务的地域、命名空间和镜像仓库。

    2.1.4. 单击 RUN

    下次就可以一键完成哦~

    2.2 服务器上直接操作

    执行

    docker build -t registry.cn-shenzhen.aliyuncs.com/test_for_tianchi/test_for_tianchi_submit:1.0 .

    注意:registry.~~~是上面创建仓库的公网地址,用自己仓库地址替换。地址后面的:1.0为自己指定的版本号,用于区分每次build的镜像。最后的.是构建镜像的路径,不可以省掉。

    构建完成后可先验证是否正常运行,正常运行后再进行推送。

    CPU镜像:

    docker run your_image sh run.sh

    GPU镜像:

    nvidia-docker run your_image sh run.sh

    推送到镜像仓库

    docker push registry.cn-shenzhen.aliyuncs.com/test_for_tianchi/test_for_tianchi_submit:1.0

    如果这步出错,可能你没有登录,按照仓库里描述操作登录即可。

    第一次推送会比较耗时,可以休息一会了~o( ̄▽ ̄)d

    四、提交验证运行结果

    在左侧【提交结果】中填写推送的镜像路径、用户名和密码,即可提交。根据【我的成绩】中的分数和日志可以查看运行情况。

    五、常见问题及解决方案

    问题1. 如果你是在本机使用脚本build 镜像如docker build -t resgist… .可能会报错如下:

    ERROR: Could not open requirements file: [Errno 2] No such file or directory: 'C:/Users/wyx/Desktop/tianchi_docker/requirements.txt'

    解决方法:在Dockerfile文件的安装依赖包之前加一行COPY requirements.txt requirements.txt

    问题2.  登陆镜像仓库失败,提示账号密码错误,请注意这里的账号密码非阿里云的账号密码而是你开通仓库服务时设置的账号密码,如果忘记密码,找回路径如下:

    找回容器镜像登录密码

    问题3. push 完成后刷新仓库网页看不到镜像版本,担心上传失败

    容器镜像网页存在一定的延迟,只要你本地push命令行没有出错就大胆去大赛提交即可,如果实在不放心你可以删除本地镜像然后pull一下验证。

    问题4. 以上仅仅是docker能够提交大赛的基本动作,针对大家对docker的调试、出错等需求我们近期会开设docker训练营示范常见调试技巧,线上提交常见问题等

    点击阅读原文或者浏览器访问下方链接即可进入天池Docker练习赛:
    https://tianchi.aliyun.com/competition/entrance/231759/introduction



    关注阿里云天池,人人都可以玩转大数据

    创作不易,点赞支持
    点赞+在看+转发
    Python社区是高质量的Python/Django开发社区
    本文地址:http://www.python88.com/topic/108385
     
    394 次点击