社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  docker

突破 DockerHub 限制,全镜像加速服务

云技术 • 5 年前 • 1038 次点击  

最近 DockerHub 修改了定价,对于免费帐号会限制 200 pulls/6小时,对于匿名帐号则限制 100 pulls/6小时。本文我来介绍下如何使用 Cache 来应对此问题。

背景

DockerHub 是全世界最早也是最大的容器镜像仓库,托管着众多操作系统发行版及各类软件的 Docker 镜像。


在推进业务容器化的过程中,不可避免的,我们会需要使用来自 DockerHub 上的容器镜像。无论是在个人本地环境中使用,还是用于跑测试服务

以下是两种主要的解决方案:

  • 构建一些公共基础镜像,存放在企业的私有镜像仓库中给业务方使用:

    这种方案下,如果业务方偶尔需要一些小众的/非基础的镜像,可能只是临时测试使用,那通常情况下是没必要将此类镜像作为基础镜像维护的。

    结果可能是:

    • 使用中直接从 DockerHub pull 镜像,网络状况不佳时,就是无尽的等待;
    • 先 pull 镜像,然后 docker tag 重 tag 后, push 到企业的私有镜像仓库中。这种情况下,如果没有较好的镜像管理规则,那么镜像仓库中就会存在各种无意义的镜像,造成存储资源的浪费。
  • 为 docker daemon 配置 Proxy 进行加速:

    • 众多国内镜像加速服务,仅提供 Docker 官方镜像的加速服务,个人/组织下的镜像不提供加速服务
    • 即使在不同节点上,下载相同的镜像,仍然需要通过网络加速,会产生额外的海外带宽成本;

并且近期 DockerHub 修改了其服务价格[1], 对于免费用户,进行了如下限制:

  • 未登录用户,每 6 小时只允许 pull 100 次
  • 已登录用户,每 6 小时只允许 pull 200 次

如果我们继续使用上述两种模式的话,由于出口 IP 是相对固定的,所以很容易触发 DockerHub 的配额限制。此限制将于 11 月 1 日正式全面实施。

为了能 提升效率 ,以及 节约加速带宽成本 ,企业内部/个人就非常需要一个 DockerHub 全镜像加速服务了,也就是我们常说的 pull through cache

下面我来介绍下,如何利用 Docker 开源的项目 registry:2 来实现这一需求。

启动服务

使用 registry:2 部署镜像缓存服务很简单,这里先执行 docker pull registry:2 下载所需的镜像:

(MoeLove) ➜  docker pull registry:2
2: Pulling from library/registry
cbdbe7a5bc2a: Pull complete 
47112e65547d: Pull complete 
46bcb632e506: Pull complete 
c1cc712bcecd: Pull complete 
3db6272dcbfa: Pull complete 
Digest: sha256:8be26f81ffea54106bae012c6f349df70f4d5e7e2ec01b143c46e2c03b9e551d
Status: Downloaded newer image for registry:2
docker.io/library/registry:2

最小化配置的 DockerHub 镜像缓存服务,只需要使用一个配置项 REGISTRY_PROXY_REMOTEURL 即可:

这里我顺便为它单独创建了一个名为 hub-cache 的 network ,以及创建了对应的 volume 。

(MoeLove) ➜  ~ docker network create hub-cache
19a39f873a23150d3bdaf021e040ccccb092ee3071884d64d52a92df0397b220
(MoeLove) ➜  ~ docker volume create hub-cache
hub-cache
(MoeLove) ➜  ~ docker run --name=cache -d --restart=always --network=hub-cache -v hub-cache:/var/lib/registry -p 5000:5000  -e REGISTRY_PROXY_REMOTEURL=https://registry-1.docker.io registry:2 
6cbdcbdcc2d62ec781479901c20be43184a48b2d73e06f04bd4693253c0c5a73
(MoeLove) ➜  ~ docker ps -l
CONTAINER ID   IMAGE        COMMAND                  CREATED         STATUS         PORTS                    NAMES
6cbdcbdcc2d6   registry:2   "/entrypoint.sh /etc…"   8 seconds ago   Up 6 seconds   0.0.0.0:5000->5000/tcp   cache

验证加速效果

启动一个全新的 Docker In Docker 容器进行验证,避免受到本地环境的影响。

通过传递 --registry-mirror http://cache:5000 ,将刚才启动的 registry 设置为 mirror 。

(MoeLove) ➜  ~ docker run  --network=hub-cache -d --privileged docker:dind --registry-mirror http://cache:5000 
73c56ac25d68927c9f5b0e458f2babc0699cf8595df0d1e86c021fd03d477384
(MoeLove) ➜  ~ docker exec -it $(docker ps -ql) sh
# 检查配置是否生效
# docker info --format '{{ .RegistryConfig.Mirrors }}' 
[http://cache:5000/]

# time docker pull prom/prometheus
Using default tag: latest
latest: Pulling from prom/prometheus
76df9210b28c: Pull complete 
559be8e06c14: Pull complete 
6a4bb3319487: Pull complete 
2cca90a64593: Pull complete 
d2014e464a99: Pull complete 
70b42590e4a2: Pull complete 
54645fcbd6cc: Pull complete 
67d9943de656: Pull complete 
b9c749b1af90: Pull complete 
9723d8eb5323: Pull complete 
7d20502d5322: Pull complete 
3e519cce6f63: Pull complete 
Digest: sha256:d43417c260e516508eed1f1d59c10c49d96bbea93eafb4955b0df3aea5908971
Status: Downloaded newer image for prom/prometheus:latest
docker.io/prom/prometheus:latest
real    0m 42.71s
user    0m 0.12s
sys     0m 0.09s


# docker image ls
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
prom/prometheus     latest              cdfc440228d0        8 days ago          168MB

# docker rmi prom/prometheus                                     
Untagged: prom/prometheus:latest
Untagged: prom/prometheus@sha256:d43417c260e516508eed1f1d59c10c49d96bbea93eafb4955b0df3aea5908971
Deleted: sha256:cdfc440228d01d7a94937d7a047fa6461efc1b1806bb20677043fee032810830
Deleted: sha256:c72f348fd2f923996ea80222feb77e34aba9de397bd96206ddc3c8651adc306d
Deleted: sha256:e34df2c00334266a67bb846b958ba6eae3b1d5cdfe9d763707027a23e7c85100
Deleted: sha256:d2cb38310ada122064b7333bbfc12c67dc58acb30e29146b3ba1e24adc27a950
Deleted: sha256:7a87cd520d19a83b3582541aac4d95098ae5016b092e72eaf80dc54f587bf51e
Deleted: sha256:f84c79dceed6b5a27234c1291d0bdccab5c459d587f13934d74db9b9e79471c6
Deleted: sha256:f542b0cffe0fe16c31c98e7eed934d5fea5e598c03b53b4efd308a62e0e9c6a9
Deleted: sha256:f746b4a525727bcb79367d009d707ef45d75bac09aaa18a68c20a19046df0897
Deleted: sha256:09b45653ee7062c7cd754885bf46ebe554d0794573fb2e200acea8644e64670f
Deleted: sha256:867526c56b30e67493341ef33890aa242c1131e4bb4151e60011b4d450892d59
Deleted: sha256:86d629b358ee70bdb0f0a11c10915b8551e904fe337f9a8bfcad476977329532
Deleted: sha256:842455c528af7383ba4a0de424fc63664a0248581a191516d6dbf45195c69426
Deleted: sha256:1be74353c3d0fd55fb5638a52953e6f1bc441e5b1710921db9ec2aa202725569

# time docker pull prom/prometheus
Using default tag: latest
latest: Pulling from prom/prometheus
76df9210b28c: Pull complete 
559be8e06c14: Pull complete 
6a4bb3319487: Pull complete 
2cca90a64593: Pull complete 
d2014e464a99: Pull complete 
70b42590e4a2: Pull complete 
54645fcbd6cc: Pull complete 
67d9943de656: Pull complete 
b9c749b1af90: Pull complete 
9723d8eb5323: Pull complete 
7d20502d5322: Pull complete 
3e519cce6f63: Pull complete 
Digest: sha256:d43417c260e516508eed1f1d59c10c49d96bbea93eafb4955b0df3aea5908971
Status: Downloaded newer image for prom/prometheus:latest
docker.io/prom/prometheus:latest
real    0m 5.27s
user    0m 0.06s
sys     0m 0.03s

可以看到,在首次 pull  prom/prometheus 镜像时,耗费了 42+s 的时间,而删除掉已下载的镜像后,再次 pull, 则只需要耗费 5+s 的时间。速度提升非常的明显。镜像加速效果达成

使用配置

对于 Linux 系统而言,仅需要在 /etc/docker/daemon.json 文件(如果没有此文件,直接创建即可)中写入你的镜像加速服务的域名,重启 docker daemon 即可(也可选择 reload 配置)。

{
        "registry-mirrors": [
                "https://hub-cache.moelove.info"
        ]
}

或者是在 docker daemon 的启动参数中加入 registry-mirror 配置项。

对于 Mac 和 Windows 用户,直接在 Docker Desktop 系统设置中,配置 registry-mirrors 即可。

注意 如果 Docker daemon 中配置了 HTTP_PROXYHTTPS_PROXY ,那么需要将加速域名配置在 NO_PROXY 中,避免被代理。

总结

本文介绍了如何使用 Docker 开源的 registry:2 搭建 DockerHub 的镜像加速服务。这里只介绍了最简单的配置。

但如果在企业环境中部署的话,需要有更多的配置。比如,可以通过配置 REGISTRY_HTTP_DEBUG_PROMETHEUS_ENABLED 暴露 Prometheus metrics ,用于监控服务可用性及查看 cache 的效果;可以对日志及相关字段进行配置;为了避免在 11 月后,触发到 DockerHub 的流量限制,可以横向进行扩容,准备多出口 IP,以及配置账户等。

最近新发布的 Harbor v2.1 貌似多了一个作为 proxy cache 的特性,但它与本文介绍的 pull through cache 并不相同,使用 Harbor 的 proxy cache 特性,需要将待 pull 的镜像,设置成 //repo/name:tag 的形式,这样子只是省去了本文一开始介绍的那种手动重 tag 的操作,不够方便,但也是个很不错的特性了。


参考资料

[1]

DockerHub 定价: https://www.docker.com/pricing


↓↓ 点击"阅读原文" 【加入云技术社区】

相关阅读:

Docker 极简入门教程

万字长文:Docker容器安全性分析

万字长文:聊聊几种主流Docker网络的实现原理

万字长文:编写Dockerfiles最佳实践

神话还是现实?Docker和Kubernetes的完美架构

中小团队基于Docker的DevOps实践

Docker:物理机vs虚拟机,五方面详细对比!

基于Kubernetes和Docker构建微服务之路

吐血总结:最为详细的Docker入门指南

最新最全 2020 云状态报告「69页PDF下载」

RightScale 2019年云状况调查报告:35% 的云支出被浪费「附50页PDF下载」

更多文章请关注


文章好看点这里[在看]👇

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/73962