深入理解 Neutron -- OpenStack 网络实现（1）：GRE 模式

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

问题导读
1.什么是VETH、qvb、qvo？
2.qbr的存在的作用是什么？
3.router服务的作用是什么？

如果不具有Linux网络基础，比如防火墙如何过滤ip、端口或则对openstack ovs了解不多，下面比较难懂一些。最好查看本站openstack网络基础知识。

openstack基础之防火墙：Linux防火墙iptables入门教程

openstack集群网络必备:路由知识补充

集群网络必备：防火墙基础知识补充

openstack安全组（防火墙）入门1——安全组之架构篇

OpenStack中的Security Group实现

有了这些基础下面看的更容易一些，本文最起码能够学到一些基本的概念

概述

涉及的 Linux 网络技术

• bridge：网桥，Linux中用于表示一个能连接不同网络设备的虚拟设备，linux中传统实现的网桥类似一个hub设备，而ovs管理的网桥一般类似交换机。
• br-int：bridge-integration，综合网桥，常用于表示实现主要内部网络功能的网桥。
• br-ex：bridge-external，外部网桥，通常表示负责跟外部网络通信的网桥。
• GRE：General Routing Encapsulation，一种通过封装来实现隧道的方式。在openstack中一般是基于L3的gre，即original pkt/GRE/IP/Ethernet
• VETH：虚拟ethernet接口，通常以pair的方式出现，一端发出的网包，会被另一端接收，可以形成两个网桥之间的通道。
• qvb：neutron veth, Linux Bridge-side
• qvo：neutron veth, OVS-side
• TAP设备：模拟一个二层的网络设备，可以接受和发送二层网包。
• TUN设备：模拟一个三层的网络设备，可以接受和发送三层网包。
• iptables：Linux 上常见的实现安全策略的防火墙软件。
• Vlan：虚拟 Lan，同一个物理 Lan 下用标签实现隔离，可用标号为1-4094。
• VXLAN：一套利用 UDP 协议作为底层传输协议的 Overlay 实现。一般认为作为 VLan 技术的延伸或替代者。
• namespace：用来实现隔离的一套机制，不同 namespace 中的资源之间彼此不可见。

基本概念

• 网络：隔离的 L2 域，可以是虚拟、逻辑或交换，同一个网络中的主机彼此 L2 可见。
• 子网：隔离的 L3 域，IP 地址块。其中每个机器有一个 IP，同一个子网的主机彼此 L3 可见。
• 端口：网络上虚拟、逻辑或交换端口。 所有这些实体都是虚拟的，拥有自动生成的唯一标示id，支持CRUD功能，并在数据库中跟踪记录状态。

网络

子网

端口

抽象系统架构

GRE 模式

下图给出了在OpenStack中网络实现的一个简化的架构示意。

一般的，OpenStack中网络实现包括vlan、gre、vxlan 等模式，此处以gre模式为例。

 

 

 

在OpenStack中，所有网络有关的逻辑管理均在Network节点中实现，例如DNS、DHCP以及路由等。Compute节点上只需要对所部属的虚拟机提供基本的网络功能支持，包括隔离不同租户的虚拟机和进行一些基本的安全策略管理（即security group）。

br-tun

一个典型的br-tun上的端口类似：

[Shell] 纯文本查看 复制代码

01	Bridge br-tun

02	Port patch-int

03	Interface patch-int

04	type: patch

05	options: {peer=patch-tun}

06	Port "gre-1"

07	Interface "gre-1"

08

type: gre

09	options: {in_key=flow, local_ip="10.0.0.101", out_key=flow, remote_ip="10.0.0.100"}

10	Port br-tun

11	Interface br-tun

12	type: internal

其中patch-int（即端口F，端口号为1）是连接到br-int上的veth pair的端口，gre-1口（即端口G，端口号为2）对应vm到外面的隧道。

gre-1端口是虚拟gre端口，当网包发送到这个端口的时候，会经过内核封包，然后从10.0.0.101发送到10.0.0.100，即从本地的物理网卡（10.0.0.101）发出。

br-tun将带有vlan tag的vm跟外部通信的流量转换到对应的gre隧道，这上面要实现主要的转换逻辑，规则要复杂，一般通过多张表来实现。

典型的转发规则为：

[Shell] 纯文本查看 复制代码

01	# ovs-ofctl dump-flows br-tun

02	NXST_FLOW reply (xid=0x4):

03	cookie=0x0, duration=10970.064s, table=0, n_packets=189, n_bytes=16232, idle_age=16, priority=1,in_port=1 actions=resubmit(,1)

04	cookie=0x0, duration=10906.954s, table=0, n_packets=29, n_bytes=5736, idle_age=16, priority=1,in_port=2 actions=resubmit(,2)

05	cookie=0x0, duration=10969.922s, table=0, n_packets=3, n_bytes=230, idle_age=10962, priority=0 actions=drop

06	cookie=0x0, duration=10969.777s, table=1, n_packets=26, n_bytes=5266, idle_age=16, priority=0,dl_dst=00:00:00:00:00:00/01:00:00:00:00:00 actions=resubmit(,20)

07	cookie=0x0, duration=10969.631s, table=1, n_packets=163, n_bytes=10966, idle_age=21, priority=0,dl_dst=01:00:00:00:00:00/01:00:00:00:00:00 actions=resubmit(,21)

08	cookie=0x0, duration=688.456s, table=2, n_packets=29, n_bytes=5736, idle_age=16, priority=1,tun_id=0x1 actions=mod_vlan_vid:1,resubmit(,10)

09	cookie=0x0, duration=10969.488s, table=2, n_packets=0, n_bytes=0, idle_age=10969, priority=0 actions=drop

10	cookie=0x0, duration=10969.343s, table=3, n_packets=0, n_bytes=0, idle_age=10969, priority=0 actions=drop

11	cookie=0x0, duration=10969.2s, table=10, n_packets=29, n_bytes=5736, idle_age=16, priority=1 actions=learn(table=20,hard_timeout=300,priority=1,NXM_OF_VLAN_TCI[0..11],NXM_OF_ETH_DST[]=NXM_OF_ETH_SRC[],load:0->NXM_OF_VLAN_TCI[],load:NXM_NX_TUN_ID[]->NXM_NX_TUN_ID[],output:NXM_OF_IN_PORT[]),output:1

12	cookie=0x0, duration=682.603s, table=20, n_packets=26, n_bytes=5266, hard_timeout=300, idle_age=16, hard_age=16, priority=1,vlan_tci=0x0001/0x0fff,dl_dst=fa:16:3e:32:0d:db actions=load:0->NXM_OF_VLAN_TCI[],load:0x1->NXM_NX_TUN_ID[],output:2

13	cookie=0x0, duration=10969.057s, table=20, n_packets=0, n_bytes=0, idle_age=10969, priority=0 actions=resubmit(,21)

14	cookie=0x0, duration=688.6s, table=21, n_packets=161, n_bytes=10818, idle_age=21, priority=1,dl_vlan=1 actions=strip_vlan,set_tunnel:0x1,output:2

15	cookie=0x0, duration=10968.912s, table=21, n_packets=2, n_bytes=148, idle_age=689, priority=0 actions=drop

其中，表0中有3条规则：从端口1（即patch-int）来的，扔到表1，从端口2（即gre-1）来的，扔到表2。

[Shell] 纯文本查看 复制代码

01	cookie=0x0, duration=10970.064s, table=0, n_packets=189, n_bytes=16232, idle_age=16, priority=1,in_port=1 actions=resubmit(,1)

02	cookie=0x0, duration=10906.954s, table=0, n_packets=29, n_bytes=5736, idle_age=16, priority=1,in_port=2 actions=resubmit(,2)

03	cookie=0x0, duration=10969.922s, table=0, n_packets=3, n_bytes=230, idle_age=10962, priority=0 actions=drop

表1有2条规则：如果是单播（00:00:00:00:00:00/01:00:00:00:00:00），则扔到表20；如果是多播等（01:00:00:00:00:00/01:00:00:00:00:00），则扔到表21。

[Shell] 纯文本查看 复制代码

01	cookie=0x0, duration=10969.777s, table=1, n_packets=26, n_bytes=5266, idle_age=16, priority=0,dl_dst=00:00:00:00:00:00/01:00:00:00:00:00 actions=resubmit(,20)

02	cookie=0x0, duration=10969.631s, table=1, n_packets=163, n_bytes=10966, idle_age=21, priority=0,dl_dst=01:00:00:00:00:00/01:00:00:00:00:00 actions=resubmit(,21)

表2有2条规则：如果是tunnel 1的网包，则修改其vlan id为1，并扔到表10；非tunnel 1的网包，则丢弃。

[Shell] 纯文本查看 复制代码

01	cookie=0x0, duration=688.456s, table=2, n_packets=29, n_bytes=5736, idle_age=16, priority=1,tun_id=0x1 actions=mod_vlan_vid:1,resubmit(,10)

02	cookie=0x0, duration=10969.488s, table=2, n_packets=0, n_bytes=0, idle_age=10969, priority=0 actions=drop

表3只有1条规则：丢弃。

表10有一条规则，基于learn行动来创建反向（从gre端口抵达，且目标是到vm的网包）的规则。learn行动并非标准的openflow行动，是openvswitch自身的扩展行动，这个行动可以根据流内容动态来修改流表内容。这条规则首先创建了一条新的流（该流对应vm从br-tun的gre端口发出的规则）：其中table=20表示规则添加在表20；NXM_OF_VLAN_TCI[0..11]表示匹配包自带的vlan id；NXM_OF_ETH_DST[]=NXM_OF_ETH_SRC[]表示L2目标地址需要匹配包的L2源地址；load:0->NXM_OF_VLAN_TCI[]，去掉vlan，load:NXM_NX_TUN_ID[]->NXM_NX_TUN_ID[]，添加tunnel号为原始tunnel号；output:NXM_OF_IN_PORT[]，发出端口为原始包抵达的端口。最后规则将匹配的网包从端口1（即patch-int）发出。

[Shell] 纯文本查看 复制代码

01	cookie=0x0, duration=10969.2s, table=10, n_packets=29, n_bytes=5736, idle_age=16, priority=1 actions=learn(table=20,hard_timeout=300,priority=1,NXM_OF_VLAN_TCI[0..11],NXM_OF_ETH_DST[]=NXM_OF_ETH_SRC[],load:0->NXM_OF_VLAN_TCI[],load:NXM_NX_TUN_ID[]->NXM_NX_TUN_ID[],output:NXM_OF_IN_PORT[]),output:1

表20中有两条规则，其中第一条即表10中规则利用learn行动创建的流表项，第2条提交其他流到表21。

[Shell] 纯文本查看 复制代码

01	cookie=0x0, duration=682.603s, table=20, n_packets=26, n_bytes=5266, hard_timeout=300, idle_age=16, hard_age=16, priority=1,vlan_tci=0x0001/0x0fff,dl_dst=fa:16:3e:32:0d:db actions=load:0->NXM_OF_VLAN_TCI[],load:0x1->NXM_NX_TUN_ID[],output:2

02	cookie=0x0, duration=10969.057s, table=20, n_packets=0, n_bytes=0, idle_age=10969, priority=0 actions=resubmit(,21)

表21有2条规则，第一条是匹配所有目标vlan为1的网包，去掉vlan，然后从端口2（gre端口）发出。第二条是丢弃。

[Shell] 纯文本查看 复制代码

01	cookie=0x0, duration=688.6s, table=21, n_packets=161, n_bytes=10818, idle_age=21, priority=1,dl_vlan=1 actions=strip_vlan,set_tunnel:0x1,output:2

02	cookie=0x0, duration=10968.912s, table=21, n_packets=2, n_bytes=148, idle_age=689, priority=0 actions=drop

这些规则所组成的整体转发逻辑如下图所示。

网络节点
br-tun

br-int

网络名字空间

dhcp 服务

router服务

br-ex

# ovs-ofctl dump-flows br-exNXST_FLOW reply (xid=0x4): cookie=0x0, duration=23431.091s, table=0, n_packets=893539, n_bytes=504805376, idle_age=0, priority=0 actions=NORMAL

原文 http://www.aboutyun.com/thread-13008-1-1.html