中国领先的IT技术网站
|
|
创建专栏

达观数据:Docker集群部署实例

Docker是个划时代的开源项目,它彻底释放了计算虚拟化的威力,极大提高了应用的运行效率,降低了云计算资源供应的成本! 使用Docker,可以让应用的部署、测试和分发都变得前所未有的高效和轻松!

作者:张弸中|2017-05-04 09:01

一、docker简介

Docker 是个划时代的开源项目,它彻底释放了计算虚拟化的威力,极大提高了应用的运行效率,降低了云计算资源供应的成本! 使用 Docker,可以让应用的部署、测试和分发都变得前所未有的高效和轻松!

由于容器不需要进行硬件虚拟以及运行完整操作系统等额外开销,Docker 对系统资源的利用率更高。无论是应用执行速度、内存损耗或者文件存储速度,都要比传统虚拟机技术更高效。因此,相比虚拟机技术,一个相同配置的主机,往往可以运行更多数量的应用。

传统的虚拟机技术启动应用服务往往需要数分钟,而 Docker 容器应用,由于直接运行于宿主内核,无需启动完整的操作系统,因此可以做到秒级、甚至毫秒级的启动时间。大大的节约了开发、测试、部署的时间。

二、应用思路

文本服务,搜索服务,推荐服务,数据采集服务是达观数据的四个主要的服务方向,其中包括的小模块非常多,像基础的数据库群,缓存群,消息队列集群等,我们把业务模块也拆分到不同的容器中,这样方便各个模块之间灵活的配合。

主要的集群配置思路如下:

1.容器层:部署起来保证各个模块的稳定性,而且保持逻辑隔离,这样便于并发和复用。

2.网络层:建立集群独立网络层,经过指定的端口与外部网络通讯,保持网络层的隔离。

3.负载均衡:负载这边,使用docker自带的集群负载均衡策略。

4.服务守护:使用docker自带的服务守护与分发策略。

5.全局配置分发:采用docker 的secret作为加密策略。

下面我们用例子讲讲具体操作。

三、工具及前期准备

由于我们的目标是建立分布式的集群环境,所以要使用多机部署,并考虑水平扩展性。

我们此处使用20台阿里云的ecs来进行部署,centos 7.2镜像作为基础os环境来讲解。

1.docker 安装

docker官网下载docker的centos7版本的docker安装文件,本文使用版本为docker-ce-17.03,docker的详细介绍见官网文档,此处不做赘述,https://docs.docker.com/engine/docker-overview/

文件存放位置:/tmp

文件名称:

  1. docker-ce-selinux-17.03.1.ce-1.el7.centos.noarch.rpm 
  2. docker-ce-17.03.1.ce-1.el7.centos.x86_64.rpm 

2.Docker-machine 安装

此处选用docker-machine进行docker集群的命令调试

官网下载docker-mashine,本文使用v0.10.0,版本,

Docker-machine 详细介绍见官网文档,此处不做赘述,https://docs.docker.com/machine/overview/

文件存放位置:/tmp

文件名称:docker-machine-Linux-x86_64

3.ssh 秘钥

选取集群主机,生成ssh秘钥对,方便对各个机器进行操作,如对ssh不了解,请查看百度百科

4.fabric 镜像制作

由于机器数量较多并考虑水平扩展性,需选用一款集群命令、文件的分发工具,本文选用python的fabric进行多机控制、文件分发,如对fabric不了解,请查看官方文档http://www.fabfile.org

四、集群os配置及步骤

1.主机安装docker,及docker-machine

  1. cd /tmp 
  2. $ yum install ./docker-ce-selinux-17.03.1.ce-1.el7.centos.noarch.rpm 
  3. $ yum install ./docker-ce-17.03.1.ce-1.el7.centos.x86_64.rpm 
  4. $ chmod +x /tmp/docker-machine-Linux-x86_64  
  5. $ cp /tmp/docker-machine-Linux-x86_64 /usr/local/bin/docker-machine 
  6. 2.校验docker,docker-machine安装情况 
  7. $ docker version 
  8.  
  9. $ docker-machine version 

2.制作docker的fabric镜像

这一步制作fabric镜像,来在容器中启动fabric,目的是命令和文件的分发,具体命令与文件规则见官方文档。(张弸中 达观数据)

<1>制作Dockerfile,文件内容如下:

  1. FROM centos:7.2.1511 
  2. LABEL maintainer "zhangpengzhong@datagrand.com" 
  3.  
  4. ENV ENVIRONMENT production 
  5. RUN cd / && ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 
  6.  
  7. RUN yum update -y \ 
  8.         && yum install -y wget gcc gcc-c++ python-devel  bzip2 \ 
  9.         && yum install -y epel-release \ 
  10.         && yum install -y python-pip \ 
  11.         && yum clean all \ 
  12.         && pip install --upgrade pip -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com \ 
  13.         && pip install setuptools==33.1.1 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com \ 
  14.         && pip install fabric -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com 

<2>制作镜像:

  1. docker build -t fabric:v1 . 

<3>启动fabric容器:

启动并将所需分发的文件即上文提到的/tmp 目录中的文件加入到容器中

  1. docker run -itd -v /tmp:/tmp fabric:v1 

查看容器:

  1. docker ps 

复制查询到的CONTAINER ID(上图第一列):

  1. 2f1dc61db184 

进入容器:

  1. docker exec -it 2f1dc61db184 /bin/bash 

3.容器内使用fabric分发sshkey

  1. vi fabric.py 

fabric.py 如下:

  1. #!/usr/bin/env python 
  2. -- encoding: utf-8 -- 
  3.  
  4. from fabric.api import run, env 
  5.  
  6. env.hosts=[’10.0.0.2’,’10.0.0.3’,’xxx.xxx.xxx.xxx’] 
  7. env.user='root' 
  8. env.password = '111' 
  9.  
  10. def sshkey(): 
  11.     sk = 'ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCfgSSubEyt39eouUNvGDpFlo/OwdIgIHsB0h9xDdX9cB6mqcmnC8f2EYheBgC0GPeZfAeRGAWmrQPGh7BzYmk93TBPM8L9SM8ewcFAlG9vKnA7myfjmg6HBfokkZ0vfDAQlApUbANtOZenjIhdrCNnk9MHI2DG8LuC9TPGwzOgMMETY28LRGTjEWwUGnf2kFPHNC4OUUltyEsRLC9IQV2+p8phPwLot8rbVPcOj9j07OVV5bwpkXjrMCut/xnVmz/p1J5hrfPaVyQy633R9Xr47hjT7UYs7RyC8gk/j9fHbbLIvxdXfAsHBcQZ4+2I6kZhOs/JQ54VBbiP4F root@jcloud-daguan-mysql1' 
  12.     run(‘cd')  
  13.     run('mkdir .ssh'
  14.     run(' echo "' + sk + '" > .ssh/authorized_keys'
  15.     run('chmod 600 .ssh/authorized_keys'
  16.     run('chmod 700 -R .ssh’) 
  17.  
  18. def putfile(path1='',path2=''): 
  19.     put(path1,path2,mode=0755) 
  20.  
  21. def docker_install(): 
  22.     with cd ('/tmp'): 
  23.         run('yum install -y docker-ce-selinux-17.03.1.ce-1.el7.centos.noarch.rpm'
  24.         run('yum install -y docker-ce-17.03.1.ce-1.el7.centos.x86_64.rpm'

启动fabric:

  1. fab -f fabric.py sshkey 

4.分发docker相关安装文件

启动fabric:

  1. fab -f fabric.py putfile /tmp/docker-ce-selinux-17.03.1.ce-1.el7.centos.noarch.rpm /tmp/docker-ce-selinux-17.03.1.ce-1.el7.centos.noarch.rpm 

5.为集群每台机器安装docker

  1. fab -f fabric.py docker_install 

6.退出容器

  1. exit 

7.在外部校验sshkey是否设置成功

  1. ssh root@10.0.0.2 

8.使用docker-machine配置集群:

  1. docker-machine create -d generic --generic-ip-address=10.0.0.2 --generic-ssh-user=root worker1  
  2. docker-machine create -d generic --generic-ip-address=10.0.0.3 --generic-ssh-user=root worker2 

依此类推:

docker-machine create -d generic --generic-ip-address=10.0.0.xxx --generic-ssh-user=root workerxxx

五、建立docker集群

1.建立docker主机

  1. docker swarm init --advertise-addr 本机ip 
  2. 如下: 
  3. $ docker swarm init --advertise-addr 10.0.0.1 
  4. Swarm initialized: current node (dxn1zf6l61qsb1josjja83ngz) is now a manager. 
  5.  
  6. To add a worker to this swarm, run the following command: 
  7.  
  8.     docker swarm join \ 
  9.     --token SWMTKN-1-49nj1cmql0jkz5s954yi3oex3nedyz0fb0xx14ie39trti4wxv-8vxv8rssmk743ojnwacrr2e7c \ 
  10.     10.0.0.1:2377 
  11.  
  12. To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions. 

2.使用fabric将剩余所有机器加入集群

将上面一步生成的命令行复制,进入刚才的fabric容器修改fabric文件,相当于令主机外其他所有机器都执行一遍上一步生成的命令

  1. def cluster_join():  
  2. run('docker swarm join —token SWMTKN-1-49nj1cmql0jkz5s954yi3oex3nedyz0fb0xx1ie39trti4wxv-8vxv8rssmk743ojnwacrr2e7c 10.0.0.1:2377  
  3. ‘) 

执行 fab -f fable.py cluster_join

3.建立集群内部网络

  1. docker network create -d overlay test_privite 

可以用命令查询是否建立成功

  1. docker network ls 

六、启动docker业务容器

这里用mysql,redis,elasticsearch来举例

1.mysql

此处我们选用版本mysql5.6,镜像来自docker hub

  1. docker service create --name mysql_test --replicas 1 \  
  2. --network test_privite \  
  3. --mount type=bind,src=/data/mysql,dst=/var/lib/mysql \  
  4. --constraint 'node.hostname == workerx' \  
  5. -e MYSQL_ROOT_PASSWORD=xxx mysql:5.6 --character-set-server=utf8 --collation-server=utf8_general_ci 

2.redis

此处我们选用版本redis 3.2,镜像来自docker hub

  1. docker service create --name redis_online \ 
  2. --network test_privite \ 
  3. --mount type=bind,src=/data/redis,dst=/data \ 
  4. --constraint 'node.hostname == workerx' \ 
  5. redis:3.2.8 redis-server /usr/local/etc/redis/redis.conf 

3.elasticsearch_master

此处我们选用版本elasticsearch5.3.0,镜像来自docker hub

  1. docker service create --name elasticsearch_master --replicas 1 \ 
  2. --network test_privite \ 
  3. --publish mode=host,target=9200,published=9200 \ 
  4. --constraint 'node.hostname == workerx' \ 
  5. -e cluster.name=xxx \ 
  6. -e "discovery.zen.ping.unicast.hosts=elasticsearch_master" \ 
  7. docker.elastic.co/elasticsearch/elasticsearch:5.3.0 

4 elastic search client

  1. docker service create --name elasticsearch_master --replicas n \ 
  2. --network test_privite \ 
  3. -e cluster.name=xxx \ 
  4. -e "discovery.zen.ping.unicast.hosts=elasticsearch_master" \ 
  5. docker.elastic.co/elasticsearch/elasticsearch:5.3.0 

七、结束语

docker的应用大大减少了代码部署的工作量,有效的建立了规范化的服务架构,上面简单介绍的达观数据使用docker部署的一个例子,希望对您有所帮助。

【本文为51CTO专栏作者“达观数据”的原创稿件,转载可通过51CTO专栏获取联系】

戳这里,看该作者更多好文

【编辑推荐】

  1. 手动部署docker swarm集群
  2. 广告和推荐系统部署机器学习模型的两种架构
  3. 张大胖的Docker之路
  4. 达观数据:基于webpack实现Web工程搭建
  5. 达观数据情感分析架构演进
【责任编辑:武晓燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

热门职位+更多

× 大数据高端培训 仅限10人