`
wwm4851186
  • 浏览: 8345 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Pipework在docker 上的使用

阅读更多

Pipeworkdocker 上的使用

Docker自身的网络功能比较简单,不能满足很多复杂的应用场景。因此,有很多开源项目用来改善Docker的网络功能,如pipeworkweaveflannel等。这里,就先介绍一下pipework的使用和工作原理。

pipework是由Docker的工程师Jérôme Petazzoni开发的一个Docker网络配置工具,由200多行shell实现,方便易用。下面用三个场景来演示pipework的使用和工作原理。

Docker容器配置到本地网络环境中

为了使本地网络中的机器和Docker容器更方便的通信,我们经常会有将Docker容器配置到和主机同一网段的需求。这个需求其实很容易实现,我们只要将Docker容器和主机的网卡桥接起来,再给Docker容器配上IP就可以了。

下面我们来操作一下,我主机A地址为10.10.101.105/24,网关为10.10.101.254,需要给Docker容器的地址配置为10.10.101.150/24。在主机A上做如下操作:

 

#安装pipework

git clone https://github.com/jpetazzo/pipework

cp ~/pipework/pipework /usr/local/bin/

#启动Docker容器。

docker run -itd --name test1 ubuntu /bin/bash

#配置容器网络,并连到网桥br0上。网关在IP地址后面加@指定。

#若主机环境中存在dhcp服务器,也可以通过dhcp的方式获取IP

#pipework br0 test1 dhcp

pipework br0 test1 10.10.101.150/24@10.10.101.254

#将主机eth0桥接到br0上,并把eth0IP配置在br0上。这里由于是远程操作,中间网络会断掉,所以放在一条命令中执行。

ip addr add 10.10.101.105/24 dev br0; \

    ip addr del 10.10.101.105/24 dev eth0; \

    brctl addif br0 eth0; \

    ip route del default; \

    ip route add default gw 10.10.101.254 dev br0

完成上述步骤后,我们发现Docker容器已经可以使用新的IP和主机网络里的机器相互通信了。

pipework工作原理分析

那么容器到底发生了哪些变化呢?我们docker attachtest1上,发现容器中多了一块eth1的网卡,并且配置了10.10.101.150/24IP,而且默认路由也改为了10.10.101.254。这些都是pipework帮我们配置的。通过查看源代码,可以发现pipework br0 test1 10.10.101.150/24@10.10.101.254是由以下命令完成的(这里只列出了具体执行操作的代码)。

 

#创建br0网桥

#ovs开头,则创建OVS网桥 ovs-vsctl add-br ovs*

brctl addbr $IFNAME

#创建veth pair,用于连接容器和br0

ip link add name $LOCAL_IFNAME mtu $MTU type veth peer name $GUEST_IFNAME mtu $MTU

#找到Docker容器test1在主机上的PID,创建容器网络命名空间的软连接

DOCKERPID=$(docker inspect --format='{{ .State.Pid }}' $GUESTNAME)

ln -s /proc/$NSPID/ns/net /var/run/netns/$NSPID

#veth pair一端放入Docker容器中,并设置正确的名字eth1

ip link set $GUEST_IFNAME netns $NSPID

ip netns exec $NSPID ip link set $GUEST_IFNAME name $CONTAINER_IFNAME

#veth pair另一端加入网桥

#若为OVS网桥则为 ovs-vsctl add-port $IFNAME $LOCAL_IFNAME ${VLAN:+"tag=$VLAN"}

brctl addif $IFNAME $LOCAL_IFNAME

#为新增加的容器配置IP和路由

ip netns exec $NSPID ip addr add $IPADDR dev $CONTAINER_IFNAME

ip netns exec $NSPID ip link set $CONTAINER_IFNAME up

ip netns exec $NSPID ip route delete default

ip netns exec $NSPID ip route add $GATEWAY/32 dev $CONTAINER_IFNAME

1. 首先pipework检查是否存在br0网桥,若不存在,就自己创建。若以"ovs"开头,就会创建OpenVswitch网桥,以"br"开头,创建Linux bridge

2. 创建veth pair设备,用于为容器提供网卡并连接到br0网桥。

3. 使用docker inspect找到容器在主机中的PID,然后通过PID将容器的网络命名空间链接到/var/run/netns/目录下。这么做的目的是,方便在主机上使用ip netns命令配置容器的网络。因为,在Docker容器中,我们没有权限配置网络环境。

4. 将之前创建的veth pair设备分别加入容器和网桥中。在容器中的名称默认为eth1,可以通过pipework-i参数修改该名称。

5. 然后就是配置新网卡的IP。若在IP地址的后面加上网关地址,那么pipework会重新配置默认路由。这样容器通往外网的流量会经由新配置的eth1出去,而不是通过eth0docker0(若想完全抛弃自带的网络设置,在启动容器的时候可以指定--net=none)

以上就是pipework配置Docker网络的过程,这和Dockerbridge模式有着相似的步骤。事实上,Docker在实现上也采用了相同的底层机制。

通过源代码,可以看出,pipework通过封装Linux上的ipbrctl等命令,简化了在复杂场景下对容器连接的操作命令,为我们配置复杂的网络拓扑提供了一个强有力的工具。当然,如果想了解底层的操作,我们也可以直接使用这些Linux命令来完成工作,甚至可以根据自己的需求,添加额外的功能。

单主机Docker容器VLAN划分

pipework不仅可以使用Linux bridge连接Docker容器,还可以与OpenVswitch结合,实现Docker容器的VLAN划分。下面,就来简单演示一下,在单机环境下,如何实现Docker容器间的二层隔离。

为了演示隔离效果,我们将4个容器放在了同一个IP网段中。但实际他们是二层隔离的两个网络,有不同的广播域。

 

#在主机A上创建4Docker容器,test1test2test3test4

docker run -itd --name test1 ubuntu /bin/bash

docker run -itd --name test2 ubuntu /bin/bash

docker run -itd --name test3 ubuntu /bin/bash

docker run -itd --name test4 ubuntu /bin/bash

#test1test2划分到一个vlan中,vlanmac地址后加@指定,此处mac地址省略。

pipework ovs0 test1 192.168.0.1/24 @100

pipework ovs0 test2 192.168.0.2/24 @100

#test3test4划分到另一个vlan

pipework ovs0 test3 192.168.0.3/24 @200

pipework ovs0 test4 192.168.0.4/24 @200

完成上述操作后,使用docker attach连到容器中,然后用ping命令测试连通性,发现test1test2可以相互通信,但与test3test4隔离。这样,一个简单的VLAN隔离容器网络就已经完成。

由于OpenVswitch本身支持VLAN功能,所以这里pipework所做的工作和之前介绍的基本一样,只不过将Linux bridge替换成了OpenVswitch,在将veth pair的一端加入ovs0网桥时,指定了tag。底层操作如下:

 

ovs-vsctl add-port ovs0 veth* tag=100

多主机Docker容器的VLAN划分

上面介绍完了单主机上VLAN的隔离,下面我们将情况延伸到多主机的情况。有了前面两个例子做铺垫,这个也就不难了。为了实现这个目的,我们把宿主机上的网卡桥接到各自的OVS网桥上,然后再为容器配置IPVLAN就可以了。我们实验环境如下,主机AB各有一块网卡eth0IP地址分别为10.10.101.105/2410.10.101.106/24。在主机A上创建两个容器test1test2,分别在VLAN 100VLAN 200上。在主机B上创建test3test4,分别在VLAN 100VLAN 200 上。最终,test1可以和test3通信,test2可以和test4通信。

 

#在主机A

#创建Docker容器

docker run -itd --name test1 ubuntu /bin/bash

docker run -itd --name test2 ubuntu /bin/bash

#划分VLAN

pipework ovs0 test1 192.168.0.1/24 @100

pipework ovs0 test2 192.168.0.2/24 @200

#eth0桥接到ovs0

ip addr add 10.10.101.105/24 dev ovs0; \

    ip addr del 10.10.101.105/24 dev eth0; \

    ovs-vsctl add-port ovs0 eth0; \

    ip route del default; \

    ip route add default gw 10.10.101.254 dev ovs0

    

#在主机B

#创建Docker容器

docker run -itd --name test3 ubuntu /bin/bash

docker run -itd --name test4 ubuntu /bin/bash

#划分VLAN

pipework ovs0 test1 192.168.0.3/24 @100

pipework ovs0 test2 192.168.0.4/24 @200

#eth0桥接到ovs0

ip addr add 10.10.101.106/24 dev ovs0; \

    ip addr del 10.10.101.106/24 dev eth0; \

    ovs-vsctl add-port ovs0 eth0; \

    ip route del default; \

    ip route add default gw 10.10.101.254 dev ovs0

完成上面的步骤后,主机A上的test1和主机B上的test3容器就划分到了一个VLAN中,并且与主机A上的test2和主机B上的test4隔离(主机eth0网卡需要设置为混杂模式,连接主机的交换机端口应设置为trunk模式,即允许VLAN 100VLAN 200的包通过)。拓扑图如下所示(省去了Docker默认的eth0网卡和主机上的docker0网桥):

 

除此之外,pipework还支持使用macvlan设备、设置网卡MAC地址等功能。不过,pipework有一个缺陷,就是配置的容器在关掉重启后,之前的设置会丢失。

 

<!--EndFragment-->
分享到:
评论

相关推荐

    docker-pipework:Docker镜像,使用管道和openvswitch管理容器网络

    docker-pipework:Docker镜像,使用管道和openvswitch管理容器网络

    pipework docker无法使用ip netns命令解决办法

    在通过pipework 给docker容器分配IP的时候, 系统报出以下错误: Object “netns” is unknown, try “ip help”. 该错误是由于系统版本暂时不支持namespaces, 可通过更新内核或者iproute的方法获取对namespaces的支持...

    pipework-master给docker容器分配ip

    工具,给docker容器分配ip使用

    Docker实现同Ip网段联通的实现

    最近解决docker与宿主机同网段通信的问题,写此文章记录一下整个过程。 例如 宿主机A 和宿主机B是网络联通关系,在宿主机A上面创建了多个容器组成集群,但是我希望...2、 使用pipework为docker容器配置独立IP 安装p

    Docker网络详解及pipework源码解读与实践1

    1. Docker的4种网络模式 1. 在主机上创建一对虚拟网卡veth pair设备 2. Docker将veth pair设备的一端放在新创建的容器中,并命

    Docker网络详解及pipework源码解读与实践

    本文首先介绍了Docker自身的4种网络工作方式,然后通过3个样例——将Docker容器配置到本地网络环境中、单主机Docker容器的VLAN划分、多主机Docker容器的VLAN划分,演示了如何使用pipework帮助我们进行复杂的网络设置...

    docker 用 pipework config ip 建测试集群

    NULL 博文链接:https://lingzhi007.iteye.com/blog/2334992

    hadoop on docker

    Docker是目前非常火的开源轻量级的引擎技术,能在linux系统快速创建一个lxc容器来部署应用。目前docker项目还在快速迭代,用go语言开发,用来构建虚拟云服务PAAS非常有前途。docker相对于传统的虚拟机技术,没有...

    auto_pipework_new_jf_nginx_v2.sh

    自动配置网络 ,配合docker使用的一个非常实用的shell脚本,该脚本实现ip和宿主主机在一个网段下

    Docker容器固定IP分配详解

    我们在使用docker run创建Docker容器...默认选择bridge的情况下,容器启动后会通过DHCP获取一个地址,这可能不是我们想要的,本文介绍在centos7 docker环境下使用pipework脚本对容器分配固定IP。 # brctl show # docke

    Docker 配置固定IP及桥接的实现方法

    这样做一个不方便的地方在于容器内部的ip不是固定的,想要连接容器时只能通过映射到宿主机的端口,因而有很多项目使用overlay来为docker提供网络的配置,比如Pipework、Flannel、Kubernetes、Weave、opencontrail等...

    Docker学习笔记之Weave实现跨主机容器互联

    Weave是由Zett.io公司开发的,它能够创建一个虚拟网络,用于连接部署在多台主机上的Docker容器,这样容器就像被接入了同一个网络交换机,那些使用网络的应用程序不必去配置端口映射和链接等信息。外部设备能够访问...

    Docker绑定固定IP/跨主机容器互访操作

    之前使用pipework 分配静态ip是暂时的,重启之后就会失效,并且使用pipework绑定的ip 物理机,虚拟机,docker容器的ip都在同一网段,这在生产环境是很困难的,下面使用docker自带的network实现固定ip分配,并且重启不会...

    duang:与dockerd haproxy etcd confd集成的docker framwork

    duang是一个以业务为单位的,分发器+docker集群的方案。前端采用confd+haproxy。 ##用法 把代码拉到本地后,在 conf 目录下创建 duang.conf 文件,内容如下 db_addr = tcp(你MySQL地址[:端口]) db_user = MySQL...

    network-wrapper

    Docker 的 DHCP 网络包装器带有外部 DHCP 服务器的 Docker 容器的 SDN基于 jpetazzo/pipework 的简化版查看这篇文章了解更多详情 =&gt;

Global site tag (gtag.js) - Google Analytics