数据中心交换矩阵蓝图架构组件
本节概述了此蓝图架构中使用的构建基块。后面的章节将更详细地探讨每种构建块技术的实现。
有关用作构建基块基础的硬件和软件的信息,请参阅 数据中心 EVPN-VXLAN 交换矩阵参考设计 — 支持的硬件摘要。
构建基块包括:
IP 交换矩阵底层网络
现代 IP 交换矩阵底层网络构建块可跨基于 Clos 的拓扑结构提供 IP 连接。瞻博网络支持以下 IP 交换矩阵底层模型:
-
3 级 IP 交换矩阵,由一层主干设备和一层叶设备组成。参见 图 1。
-
5 级 IP 交换矩阵,通常从单个 3 阶段 IP 交换矩阵开始,后来发展为两个 3 阶段 IP 交换矩阵。这些交换矩阵在数据中心内被分割成单独的交付点 (POD)。对于此用例,我们支持添加一层超级主干设备,以便在两个 Pod 中的主干和叶设备之间进行通信。参见 图 2。
-
折叠式主干 IP 交换矩阵模型,其中叶层功能折叠到主干设备上。这种类型的交换矩阵的设置和操作方式与 3 级或 5 级 IP 交换矩阵类似,只是没有单独的叶设备层。如果要以增量方式迁移到 EVPN 脊叶模型,或者您的接入设备或架顶式 (TOR) 设备由于不支持 EVPN-VXLAN,因此无法在叶层中使用,则可以使用折叠的主干交换矩阵。
在这些图中,设备使用高速接口互连,高速接口可以是单链路接口,也可以是聚合以太网接口。聚合以太网接口是可选的(通常在设备之间使用单个链路),但可以部署这些接口来增加带宽并提供链路级冗余。我们涵盖了这两种选择。
我们选择 EBGP 作为底层网络中的路由协议,因为它具有可靠性和可扩展性。每个设备都分配有其自己的自治系统,并具有唯一的自治系统编号以支持 EBGP。您可以在底层网络中使用其他路由协议;这些协议的使用超出了本文档的范围。
本指南中描述的参考架构设计基于 IP 交换矩阵,该交换矩阵使用 EBGP 实现底层连接,使用 IBGP 实现叠加对等互连(请参阅用于 叠加的 IBGP)。您也可以使用 EBGP 配置叠加对等互连。
从 Junos OS 21.2R2 和 21.4R1 版开始,我们还支持配置 IPv6 交换矩阵。本指南中的 IPv6 交换矩阵设计使用 EBGP 实现底层连接和叠加对等互连(请参阅 EBGP 了解具有 IPv6 底层网络的叠加)。
IP 交换矩阵可以使用 IPv4 或 IPv6,如下所示:
-
IPv4 交换矩阵使用 IPv4 接口寻址以及 IPv4 底层和叠加 BGP 会话进行端到端工作负载通信。
-
IPv6 交换矩阵使用 IPv6 接口寻址以及 IPv6 底层和叠加 BGP 会话进行端到端工作负载通信。
-
我们不支持混合使用 IPv4 和 IPv6 的 IP 交换矩阵。
但是,IPv4 交换矩阵和 IPv6 交换矩阵都支持双堆栈工作负载 — 工作负载可以是 IPv4 或 IPv6,也可以是 IPv4 和 IPv6。
微双向转发检测 (BFD) — 在聚合以太网接口中的单个链路上运行 BFD 的功能 — 还可以在此构建块中启用,以快速检测连接设备的聚合以太网捆绑包中任何成员链路上的链路故障。
有关详细信息,请参阅本指南中的以下其他部分:
-
在 3 级和 5 级 IP 交换矩阵底层中配置主干和叶设备: IP 交换矩阵底层网络设计和实施。
-
在 5 级 IP 交换矩阵底层中实施附加层的超级主干设备: 五阶段 IP 交换矩阵设计和实施。
-
配置 IPv6 底层并支持 EBGP IPv6 叠加: 使用 EBGP 设计和实施 IPv6 交换矩阵底层和叠加网络。
-
在折叠主干交换矩阵模型中设置底层: 折叠主干交换矩阵设计和实现。
IPv4 和 IPv6 工作负载支持
由于许多网络为包含 IPv4 和 IPv6 协议的工作负载实施双堆栈环境,因此此蓝图为这两种协议提供支持。配置结构以支持 IPv4 和 IPv6 工作负载的步骤贯穿本指南,允许您选择其中一个或两个协议。
用于工作负载流量的 IP 协议独立于为 IP 交换矩阵底层和叠加网络配置的 IP 协议版本(IPv4 或 IPv6)。(请参见 IP 交换矩阵底层网络。)IPv4 交换矩阵或 IPv6 交换矩阵基础架构可以同时支持 IPv4 和 IPv6 工作负载。
网络虚拟化叠加
网络虚拟化叠加是通过 IP 底层网络传输的虚拟网络。此构建基块支持网络中的多租户,允许您在多个租户之间共享单个物理网络,同时保持每个租户的网络流量与其他租户隔离。
租户是包含终结点组的用户社区(例如业务单位、部门、工作组或应用程序)。组可以与同一租户中的其他组通信,如果网络策略允许,租户可以与其他租户通信。组通常表示为子网 (VLAN),可以与同一子网中的其他设备通信,并通过虚拟路由和转发 (VRF) 实例到达外部组和端点。
如图 3 所示的叠加示例所示,以太网桥接表(用三角形表示)处理租户桥接帧,IP 路由表(用正方形表示)处理路由的数据包。VLAN 间路由发生在集成路由和桥接 (IRB) 接口(用圆圈表示)上。以太网和 IP 表定向到虚拟网络(用彩色线表示)。为了到达连接到其他 VXLAN 隧道端点 (VTEP) 设备的终端系统,租户数据包会被封装并通过 EVPN 信号 VXLAN 隧道(由绿色隧道图标表示)发送到关联的远程 VTEP 设备。隧道数据包在远程 VTEP 设备上进行解封,并通过出口 VTEP 设备的相应桥接表或路由表转发到远程终端系统。
接下来的部分将提供有关叠加网络的更多详细信息。
- 用于叠加的 IBGP
- EBGP 与 IPv6 底层网络的叠加
- 桥接叠加
- 集中路由桥接叠加
- 边缘路由桥接叠加
- 折叠的主干叠加
- 桥接、CRB 和 ERB 叠加的比较
- 桥接叠加中的 IRB 寻址模型
- 使用 EVPN 5 类路由的路由覆盖网络
- 用于网络虚拟化叠加网络中多租户的 MAC-VRF 实例
用于叠加的 IBGP
内部 BGP (IBGP) 是一种通过 IP 网络交换可达性信息的路由协议。当 IBGP 与多协议 BGP (MP-IBGP) 结合使用时,它为 EVPN 在 VTEP 设备之间交换可访问性信息奠定了基础。建立 VTEP 间 VXLAN 隧道并将其用于叠加连接服务需要此功能。
图 4 显示主干和叶设备使用其环路地址在单个自治系统中进行对等互连。在此设计中,主干设备充当路由反射器群集,叶设备是路由反射器客户端。路由反射器满足 IBGP 对全网状网络的要求,无需所有 VTEP 设备直接相互对等。因此,叶设备仅与主干设备对等,主干设备同时与主干设备和叶设备对等。由于主干设备连接到所有叶设备,因此主干设备可以在间接对等的叶设备邻居之间中继 IBGP 信息。
您几乎可以将路由反射器放置在网络中的任何位置。但是,您必须考虑以下事项:
-
所选设备是否具有足够的内存和处理能力来处理路由反射器所需的额外工作负载?
-
所选设备是否等距且可从所有 EVPN 扬声器到达?
-
所选设备是否具有适当的软件功能?
在此设计中,路由反射器集群放置在主干层。在此参考设计中,可用作主干的 QFX 交换机具有充足的处理速度,可以处理网络虚拟化叠加网络中的路由反射器客户端流量。
有关在叠加层中实施 IBGP 的详细信息,请参阅 为叠加层配置 IBGP。
EBGP 与 IPv6 底层网络的叠加
本指南中的原始参考架构用例说明了具有 IPv4 IBGP 叠加设备连接的 IPv4 EBGP 底层设计。请参阅 IP 交换矩阵底层网络 和 IBGP 进行叠加。但是,随着网络虚拟化边缘 (NVE) 设备开始采用 IPv6 VTEP,以利用 IPv6 的扩展寻址范围和功能,我们已将 IP 交换矩阵支持扩展到包括 IPv6。
从 Junos OS 21.2R2-S1 版开始,在支持平台上,您也可以使用具有一些参考架构叠加设计的 IPv6 交换矩阵基础架构。IPv6 交换矩阵设计包括 IPv6 接口寻址、IPv6 EBGP 底层和用于工作负载连接的 IPv6 EBGP 叠加。借助 IPv6 交换矩阵,NVE 设备使用 IPv6 外部标头封装 VXLAN 标头,并使用 IPv6 下一跃点在交换矩阵中通过隧道对数据包进行端到端隧道传输。工作负载可以是 IPv4 或 IPv6。
您在支持的参考架构叠加设计中配置的大多数元素都与底层和叠加基础架构使用的是 IPv4 还是 IPv6 无关。如果底层和叠加使用 IPv6 交换矩阵设计,则每个受支持的叠加设计的相应配置过程会指出任何配置差异。
有关更多详细信息,请参阅本指南和其他资源中的以下参考资料:
使用 EBGP 配置 IPv6 交换矩阵以实现底层连接和叠加对等: 使用 EBGP 设计和实施 IPv6 交换矩阵底层和叠加网络。
在交换矩阵中担任特定角色时,不同平台支持 IPv6 交换矩阵设计的起始版本: 数据中心 EVPN-VXLAN 交换矩阵参考设计 — 支持的硬件摘要。
瞻博网络设备上 EVPN-VXLAN 交换矩阵中的 IPv6 底层和叠加对等支持概述: 带 IPv6 底层的 EVPN-VXLAN。
桥接叠加
本指南中描述的第一种叠加服务类型是 桥接叠加,如图 5 所示。
在此叠加模型中,以太网 VLAN 跨 VXLAN 隧道在叶设备之间扩展。这些叶到叶的 VXLAN 隧道支持需要在叶设备之间建立以太网连接但不需要在 VLAN 之间路由的数据中心网络。因此,主干设备仅为叶设备提供基本的底层和叠加连接,而不执行其他叠加方法所见的路由或网关服务。
叶设备发起 VTEP 以连接到其他叶设备。隧道使叶设备能够将 VLAN 流量发送到数据中心内的其他叶设备和以太网连接的终端系统。这种叠加服务的简单性使其对需要一种简单方法将 EVPN/VXLAN 引入其现有基于以太网的数据中心的运营商具有吸引力。
有关实现桥接叠加的信息,请参阅 桥接叠加设计和实现。
集中路由桥接叠加
第二种叠加服务类型是 集中路由桥接 (CRB) 叠加,如图 6 所示。
在 CRB 叠加层中,路由发生在数据中心网络的中央网关(本例中为主干层),而不是在连接终端系统的 VTEP 设备(本例中为叶层)。
当您需要路由流量通过集中式网关时,或者当您的边缘 VTEP 设备缺乏所需的路由功能时,可以使用此叠加模型。
如上所示,源自以太网连接的终端系统的流量通过中继(多个 VLAN)或接入端口(单个 VLAN)转发到叶 VTEP 设备。VTEP 设备将流量转发到本地终端系统或远程 VTEP 设备上的终端系统。每个主干设备上的集成路由和桥接 (IRB) 接口有助于在以太网虚拟网络之间路由流量。
借助 VLAN 感知桥接叠加服务模型,可以轻松地将一组 VLAN 聚合到同一叠加虚拟网络中。瞻博网络 EVPN 设计支持数据中心中的三种 VLAN 感知以太网服务模型配置,如下所示:
-
Default instance VLAN-aware— 使用此选项,您可以实施总共支持 4094 个 VLAN 的单个默认交换实例。此设计中包含的所有叶平台(数据中心 EVPN-VXLAN 交换矩阵参考设计 — 支持的硬件摘要)都支持 VLAN 感知叠加的默认实例样式。
要配置此服务模型,请参阅 在默认实例中配置 VLAN 感知集中路由桥接覆盖网络。
-
Virtual switch VLAN-aware— 使用此选项,多个虚拟交换机实例每个实例最多支持 4094 个 VLAN。此以太网服务模型非常适合需要超出单个默认实例的可扩展性的叠加网络。目前在QFX10000系列交换机上提供对此选项的支持。
要实施此可扩展服务模型,请参阅 使用虚拟交换机或 MAC-VRF 实例配置 VLAN 感知 CRB 覆盖网络。
-
MAC-VRF instance VLAN-aware— 使用此选项,多个 MAC-VRF 实例每个实例最多支持 4094 个 VLAN。此以太网服务模型非常适合需要超越单个默认实例的可扩展性的叠加网络,以及您希望有更多选项来确保同一交换矩阵中不同租户之间的 VLAN 隔离或互连的叠加网络。支持 MAC-VRF 实例的平台支持此选项(请参阅功能浏览器: 具有 EVPN-VXLAN 的 MAC VRF)。
要实施此可扩展服务模型,请参阅 使用虚拟交换机或 MAC-VRF 实例配置 VLAN 感知 CRB 覆盖网络。
边缘路由桥接叠加
第三个叠加服务选项是 边缘路由桥接 (ERB) 叠加, 如图 7 所示。
在这种以太网服务模型中,IRB 接口被移动到叠加网络边缘的叶设备 VTEP,以使 IP 路由更接近终端系统。由于在一个设备中支持桥接、路由和 EVPN/VXLAN 所需的特殊 ASIC 功能,因此 ERB 叠加只能在某些交换机上使用。有关我们支持作为 ERB 叠加网络中的叶设备的交换机列表,请参阅 数据中心 EVPN-VXLAN 交换矩阵参考设计 — 支持的硬件摘要。
此模型可实现更简单的整体网络。主干设备配置为仅处理 IP 流量,因此无需将桥接叠加扩展到主干设备。
此选项还可实现更快的服务器到服务器、数据中心内部流量(也称为东西向流量),其中终端系统连接到同一叶设备 VTEP。因此,与CRB叠加相比,路由更接近终端系统。
在用作叶设备的 QFX5110 或 QFX5120 交换机上配置 EVPN 5 类路由实例中包含的 IRB 接口时,设备会自动为 EVPN 5 类路由启用对称的 IRB 间单播路由。
有关实现 ERB 叠加的信息,请参阅 边缘路由桥接叠加设计和实现。
折叠的主干叠加
折叠式主干架构中的叠加网络类似于 ERB 叠加。在折叠式主干架构中,叶设备功能折叠到主干设备上。由于没有叶层,因此您可以在主干设备上配置 VTEPS 和 IRB 接口,这些设备与 ERB 模型中的叶设备一样,位于叠加网络的边缘。主干设备还可以执行边界网关功能,以路由南北向流量,或跨数据中心位置扩展第 2 层流量。
有关折叠式主干架构支持的交换机列表,请参阅 数据中心 EVPN-VXLAN 交换矩阵参考设计 — 支持的硬件摘要。
桥接、CRB 和 ERB 叠加的比较
要帮助您确定哪种覆盖网络类型最适合您的 EVPN 环境,请参阅 表 1。
我们支持在支持桥接叠加类型的设备上同时在同一设备上混合桥接叠加、CRB 叠加和 ERB 叠加配置。您无需为设备配置单独的逻辑系统,设备即可在不同类型的叠加网络中并行运行。
比较点 |
再培训局叠加 |
CRB 叠加 |
桥接叠加 |
---|---|---|---|
完全分布式租户子网间路由 |
✓ |
|
|
将 IP 网关故障的影响降至最低 |
✓ |
|
|
在叶级别动态路由到第三方节点 |
✓ |
|
|
针对大量东西向流量进行了优化 |
✓ |
|
|
更好地与原始 IP 交换矩阵集成 |
✓ |
|
|
更靠近服务器的 IP VRF 虚拟化 |
✓ |
|
|
需要 Contrail vRouter 多宿主 |
✓ |
|
|
更轻松地与不同供应商实现 EVPN 互操作性 |
✓ |
|
|
对称的子网间路由 |
✓ |
✓ |
|
每个机架重叠的 VLAN ID |
✓ |
✓ |
✓ |
更简单的手动配置和故障排除 |
|
✓ |
✓ |
服务提供商和企业级界面 |
|
✓ |
✓ |
传统叶交换机支持 (QFX5100) |
|
✓ |
✓ |
集中式虚拟机流量优化 (VMTO) 控制 |
|
✓ |
|
防火墙群集上的 IP 租户子网网关 |
|
|
✓ |
桥接叠加中的 IRB 寻址模型
在 CRB 和 ERB 叠加网络中配置 IRB 接口需要了解 IRB 接口的默认网关 IP 和 MAC 地址配置模型,如下所示:
Unique IRB IP Address— 在此模型中,在叠加子网中的每个 IRB 接口上配置一个唯一的 IP 地址。
在每个 IRB 接口上拥有唯一 IP 地址和 MAC 地址的好处是,能够使用其唯一 IP 地址从叠加层内监控和访问每个 IRB 接口。此模型还允许您在 IRB 接口上配置路由协议。
此模型的缺点是,为每个 IRB 接口分配一个唯一的 IP 地址可能会占用子网的许多 IP 地址。
Unique IRB IP Address with Virtual Gateway IP Address— 此型号将虚拟网关 IP 地址添加到以前的型号,建议将其用于集中路由桥接叠加。它类似于 VRRP,但网关 IRB 接口之间没有带内数据平面信令。虚拟网关对于覆盖子网中的所有默认网关 IRB 接口应相同,并且在配置它的所有网关 IRB 接口上处于活动状态。您还应为虚拟网关配置一个通用 IPv4 MAC 地址,该地址将成为通过 IRB 接口转发的数据包的源 MAC 地址。
除了先前型号的优势外,虚拟网关还简化了终端系统上的默认网关配置。该模型的缺点与以前的模型相同。
IRB with Anycast IP Address and MAC Address— 在此模型中,叠加子网中的所有默认网关 IRB 接口都配置了相同的 IP 和 MAC 地址。我们建议将此模型用于 ERB 叠加。
此模型的一个好处是,默认网关 IRB 接口寻址每个子网只需要一个 IP 地址,从而简化了终端系统上的默认网关配置。
使用 EVPN 5 类路由的路由覆盖网络
最后一个叠加选项是 路由叠加,如图 8 所示。
此选项是 IP 路由的虚拟网络服务。与基于 MPLS 的 IP VPN 不同,此模型中的虚拟网络基于 EVPN/VXLAN。
云提供商更喜欢这种虚拟网络选项,因为大多数现代应用程序都针对 IP 进行了优化。由于设备之间的所有通信都在 IP 层进行,因此在此路由叠加模型中无需使用任何以太网桥接组件,例如 VLAN 和 ESI。
有关实现路由叠加的信息,请参阅 路由叠加设计和实现。
用于网络虚拟化叠加网络中多租户的 MAC-VRF 实例
MAC-VRF 路由实例允许您在充当 EVPN-VXLAN 交换矩阵中的 VTEP 的设备上配置具有不同以太网服务类型的多个 EVPN 实例。使用 MAC-VRF 实例,您可以使用客户特定的 VRF 表管理数据中心中的多个租户,以隔离或分组租户工作负载。
MAC-VRF 实例除了先前对 VLAN 感知服务类型的支持外,还引入了对基于 VLAN 的服务类型的支持。参见 图 9。
-
基于 VLAN 的服务 — 您可以在 MAC-VRF 实例中配置一个 VLAN 和相应的 VXLAN 网络标识符 (VNI)。要调配新的 VLAN 和 VNI,您必须使用新的 VLAN 和 VNI 配置新的 MAC VRF 实例。
-
VLAN 感知服务 — 您可以在同一 MAC-VRF 实例中配置一个或多个 VLAN 以及相应的 VNI。要调配新的 VLAN 和 VNI,您可以将新的 VLAN 和 VNI 配置添加到现有 MAC-VRF 实例,这样在使用基于 VLAN 的服务时可以节省一些配置步骤。
MAC-VRF 实例在第 2 层和第 3 层都支持更灵活的配置选项。例如:
图 10 显示了使用 MAC-VRF 实例的情况:
-
您可以在同一设备上的不同 MAC-VRF 实例中配置不同的服务类型。
-
您可以在第 2 层(MAC-VRF 实例)和第 3 层(VRF 实例)提供灵活的租户隔离选项。您可以配置与单个 MAC-VRF 实例中的一个或多个 VLAN 对应的 VRF 实例。或者,您可以配置一个 VRF 实例,该实例跨越多个 MAC-VRF 实例中的 VLAN。
图 11 显示了一个 ERB 叠加交换矩阵,其中包含用于租户分离的示例 MAC-VRF 配置。
在图 11 中,叶设备建立 VXLAN 隧道,使用 MAC-VRF 实例 MAC-VRF 12 和 MAC-VRF 3 在第 2 层保持租户 12(VLAN 1 和 VLAN 2)和租户 3(VLAN 3)之间的隔离。叶设备还使用 VRF 实例 VRF 12 和 VRF 3 隔离第 3 层的租户。
您可以使用其他选项在第 2 层和第 3 层通过 MAC-VRF 和 VRF 配置隔离的租户之间共享 VLAN 流量,例如:
-
通过防火墙在租户 VRF 之间建立安全的外部互连。
-
配置第 3 层 VRF 之间的本地路由泄漏。
有关 MAC-VRF 实例以及在示例客户使用案例中使用它们的更多信息,请参阅 EVPN-VXLAN DC IP 交换矩阵 MAC-VRF L2 服务。
MAC-VRF 实例对应转发实例,如下所示:
-
QFX5000线路中的交换机上的 MAC-VRF 实例(包括运行 Junos OS 或 Junos OS 演化的交换机)都是默认转发实例的一部分。在这些设备上,您无法在 MAC-VRF 实例中或跨多个 MAC-VRF 实例配置重叠 VLAN。
-
在交换机QFX10000线上,您可以配置多个转发实例,并将一个 MAC-VRF 实例映射到特定的转发实例。您还可以将多个 MAC-VRF 实例映射到同一个转发实例。如果将每个 MAC-VRF 实例配置为使用不同的转发实例,则可以跨多个 MAC-VRF 实例配置重叠 VLAN。您无法在单个 MAC-VRF 实例或映射到同一转发实例的 MAC-VRF 实例中配置重叠 VLAN。
-
在默认配置中,交换机包括与默认转发实例关联的 VLAN ID=1 的默认 VLAN。由于 VLAN ID 在转发实例中必须是唯一的,因此,如果要在使用默认转发实例的 MAC-VRF 实例中配置 VLAN ID=1 的 VLAN,则必须将默认 VLAN 的 VLAN ID 重新分配给 1 以外的值。例如:
set vlans default vlan-id 4094 set routing-instances mac-vrf-instance-name vlans vlan-name vlan-id 1
本指南中的参考网络虚拟化叠加配置示例包括使用 MAC-VRF 实例配置叠加网络的步骤。您可以配置类型 mac-vrf
的 EVPN 路由实例,并在实例中设置路由识别符和路由目标。您还可以在实例中包含所需的接口(包括 VTEP 源接口)、VLAN 和 VLAN 到 VNI 的映射。请参阅以下主题中的参考配置:
-
桥接叠加设计和实施 — 您可以在叶设备上配置 MAC-VRF 实例。
-
集中路由桥接叠加设计和实施 — 您可以在主干设备上配置 MAC-VRF 实例。在叶设备上,MAC-VRF 配置类似于桥接叠加设计中的 MAC-VRF 叶配置。
-
边缘路由桥接叠加设计和实施 — 您可以在叶设备上配置 MAC-VRF 实例。
当配置使用多个 MAC-VRF 实例时,设备可能会出现 VTEP 扩展问题。因此,为避免此问题,我们要求您在运行具有 MAC-VRF 实例配置的 Junos OS 的 QFX5000 系列交换机上启用共享隧道功能。配置共享隧道时,设备会尽量减少到达远程 VTEP 的下一跃点条目数。您可以使用层次结构级别的语句[edit forwarding-options evpn-vxlan]
在shared-tunnels
设备上全局启用共享 VXLAN 隧道。此设置要求您重新启动设备。
此语句对于运行 Junos OS 的 QFX10000 系列交换机是可选的,可以处理比QFX5000交换机更高的 VTEP 扩展。
在 EVPN-VXLAN 交换矩阵中运行 Junos OS 演化版的设备上,默认情况下会启用共享隧道。Junos OS 演化版仅支持 MAC-VRF 配置的 EVPN-VXLAN。
对以太网连接的终端系统的多宿主支持
以太网连接的多宿主允许 以太网连接的终端系统通过单宿主链路连接到一个 VTEP 设备或通过多宿主到不同 VTEP 设备的多个链路连接到以太网叠加网络。以太网流量在连接到同一终端系统的叶设备上的 VTEP 之间的交换矩阵上进行负载平衡。
我们测试了以太网连接的终端系统连接到单叶设备或多宿主连接到 2 或 3 叶设备的设置,以证明在具有两个以上叶 VTEP 设备的多宿主设置中流量得到正确处理;实际上,以太网连接的终端系统可以多宿主到大量叶式 VTEP 设备。所有链路都处于活动状态,网络流量可以在所有多宿主链路上进行负载平衡。
在此架构中,EVPN 用于以太网连接的多宿主。EVPN 多宿主 LAG 由 EVPN 桥接叠加网络中的以太网分段标识符 (ESI) 标识,而 LACP 用于提高 LAG 可用性。
VLAN 中继允许一个接口支持多个 VLAN。VLAN 中继可确保非叠加虚拟机管理程序上的虚拟机 (VM) 可以在任何叠加网络环境中运行。
有关以太网连接的多宿主支持的详细信息,请参阅以太网 连接的终端系统的多宿主设计和实现。
对 IP 连接的终端系统提供多宿主支持
IP 连接的多宿主 端点系统,用于通过不同叶设备上的多个基于 IP 的访问接口连接到 IP 网络。
我们测试了将 IP 连接的终端系统连接到单叶或多宿主连接到 2 或 3 个叶设备的设置。该设置验证了当多宿主到多个叶设备时流量是否得到正确处理;实际上,IP 连接的终端系统可以多宿主到大量叶设备。
在多宿主设置中,所有链路都处于活动状态,并且通过所有多宿主链路转发和接收网络流量。使用简单的散列算法在多宿主链路之间对 IP 流量进行负载平衡。
EBGP 用于在连接 IP 的端点系统和连接的叶设备之间交换路由信息,以确保到端点系统的路由与所有主干和叶设备共享。
有关 IP 连接的多宿主构建基块的详细信息,请参阅多 宿主 IP 连接的终端系统设计和实现。
边框设备
我们的一些参考设计包括边界设备,用于提供与以下设备的连接,这些设备位于本地 IP 交换矩阵外部:
组播网关。
用于数据中心互连 (DCI) 的数据中心网关。
一种设备,如 SRX 路由器,其上整合了防火墙、网络地址转换 (NAT)、入侵检测和防御 (IDP)、组播等多项服务。将多个服务整合到一个物理设备上称为服务链。
充当防火墙、DHCP 服务器、sFlow 收集器等的设备或服务器。
注意:如果您的网络包含需要与边界设备建立 1-Gbps 以太网连接的传统设备或服务器,我们建议使用 QFX10008 或 QFX5120 交换机作为边界设备。
为了提供上述附加功能,瞻博网络支持通过以下方式部署边界设备:
作为仅用作边界设备的设备。在此专用角色中,您可以将设备配置为处理上述一项或多项任务。对于此情况,设备通常部署为连接到主干设备的边界叶。
例如,在 图 14 所示的 ERB 叠加网络中,边界叶 L5 和 L6 为 DCI、sFlow 收集器和 DHCP 服务器提供与数据中心网关的连接。
作为具有两个角色的设备 — 网络底层设备和边界设备,可以处理上述一项或多项任务。对于这种情况,主干设备通常处理这两个角色。因此,边界设备功能称为边界主干。
例如,在 图 15 所示的 ERB 叠加层中,边界主干 S1 和 S2 用作精简主干设备。它们还提供与数据中心网关的连接,用于 DCI、sFlow 收集器和 DHCP 服务器。
数据中心互连 (DCI)
数据中心互连 (DCI) 构建块提供在数据中心之间发送流量所需的技术。经过验证的设计支持使用 EVPN 5 类路由、IPVPN 路由和带 VXLAN 拼接的第 2 层 DCI 的 DCI。
EVPN 5 类或 IPVPN 路由用于 DCI 环境,以确保使用不同 IP 地址子网方案的数据中心之间的数据中心间流量可以交换。路由在不同数据中心的主干设备之间交换,以允许在数据中心之间传递流量。
在配置 DCI 之前,数据中心之间需要物理连接。物理连接由 WAN 云中的骨干设备提供。骨干设备连接到单个数据中心 (POD) 中的所有主干设备,以及连接到其他数据中心的其他骨干设备。
有关配置 DCI 的信息,请参阅:
服务链
在许多网络中,流量通常会流经分别提供服务的单独硬件设备,例如防火墙、NAT、IDP、组播等。每台设备都需要单独的操作和管理。这种链接多个网络功能的方法可以被认为是物理服务链。
更有效的服务链模型是将网络功能虚拟化并整合到单个设备上。在我们的蓝图架构中,我们使用 SRX 系列路由器作为整合网络功能、处理和应用服务的设备。该设备称为物理网络功能 (PNF)。
在此解决方案中,CRB 叠加和 ERB 叠加都支持服务链。它仅适用于租户间流量。
服务链的逻辑视图
图 17 显示了服务链的逻辑视图。它显示了具有右侧配置和左侧配置的主干。每一端都有一个 VRF 路由实例和一个 IRB 接口。中间的 SRX 系列路由器是 PNF,它执行服务链。
此逻辑视图中的流量为:
-
主干在左侧 VRF 中的 VTEP 上接收数据包。
-
数据包被解封装并发送到左侧 IRB 接口。
-
IRB 接口将数据包路由到充当 PNF 的 SRX 系列路由器。
-
SRX 系列路由器对数据包执行服务链,并将数据包转发回主干,在主干右侧显示的 IRB 接口上接收数据包。
-
IRB 接口将数据包路由到右侧 VRF 中的 VTEP。
有关配置服务链的信息,请参阅 服务链设计和实现。
组播优化
组播优化有助于在 EVPN VXLAN 环境中的组播场景中保留带宽并更有效地路由流量。如果不配置任何组播优化,所有组播复制都是在连接到组播源的叶入口处完成的,如图 18 所示。组播流量将发送到连接到主干的所有叶设备。每个叶设备将流量发送到连接的主机。
EVPN VXLAN 环境中支持几种类型的组播优化,它们可以协同工作:
有关配置组播功能的信息,请参阅:
IGMP 侦听
EVPN-VXLAN 交换矩阵中的 IGMP 侦听对于优化组播流量的分配非常有用。IGMP 侦听可保留带宽,因为组播流量仅在存在 IGMP 侦听器的接口上转发。并非叶设备上的所有接口都需要接收组播流量。
如果没有 IGMP 侦听,终端系统会收到它们不感兴趣的 IP 组播流量,这会不必要地用不需要的流量淹没其链路。在某些情况下,当 IP 组播流量很大时,不需要的大量流量会导致拒绝服务问题。
图 19 显示了 IGMP 侦听在 EVPN-VXLAN 交换矩阵中的工作方式。在此示例 EVPN-VXLAN 交换矩阵中,所有叶设备上都配置了 IGMP 侦听,组播接收器 2 之前已发送 IGMPv2 加入请求。
-
组播接收器 2 发送 IGMPv2 离开请求。
-
组播接收器 3 和 4 发送 IGMPv2 加入请求。
-
当叶 1 收到入口组播流量时,它会为所有叶设备复制该流量,并将其转发到主干。
-
主干将流量转发到所有叶设备。
-
叶 2 接收组播流量,但不会将其转发给接收方,因为接收方发送了 IGMP 留下消息。
在 EVPN-VXLAN 网络中,仅支持 IGMP 版本 2。
有关 IGMP 侦听的更多信息,请参阅 EVPN-VXLAN 环境中使用 IGMP 侦听或 MLD 侦听进行组播转发概述。
选择性组播转发
选择性组播以太网 (SMET) 转发可提供更高的端到端网络效率并减少 EVPN 网络中的流量。它可节省交换矩阵核心中的带宽使用量,并减少没有侦听器的出口设备上的负载。
启用了 IGMP 侦听的设备使用选择性组播转发以有效的方式转发组播流量。启用 IGMP 侦听后,叶设备仅将组播流量发送到具有相关接收方的接入接口。添加 SMET 后,叶设备会有选择地将组播流量仅发送到核心中对该组播组表示感兴趣的叶设备。
图 20 显示了 SMET 流量以及 IGMP 侦听。
-
组播接收器 2 发送 IGMPv2 离开请求。
-
组播接收器 3 和 4 发送 IGMPv2 加入请求。
-
当叶 1 收到入口组播流量时,它仅将流量复制到具有相关接收方的叶设备(叶设备 3 和 4),并将其转发到主干。
-
主干将流量转发到叶设备 3 和 4。
您不需要启用 SMET;默认情况下,在设备上配置 IGMP 侦听时会启用此功能。
有关 SMET 的详细信息,请参阅 选择性组播转发概述。
组播流量的辅助复制
辅助复制 (AR) 功能可将 EVPN-VXLAN 交换矩阵叶设备从入口复制任务中卸载出来。入口叶不会复制组播流量。它将组播流量的一个副本发送到配置为 AR 复制器设备的主干。AR 复制器设备分配和控制组播流量。除了减少入口叶设备上的复制负载外,此方法还可以节省叶和主干之间结构中的带宽。
图 21 显示了 AR 如何与 IGMP 侦听和 SMET 协同工作。
-
叶 1(设置为 AR 叶设备)接收组播流量,并将一个副本发送到设置为AR 复制器设备的主干。
-
主干复制组播流量。它复制使用组播流量源自叶 1 的 VLAN VNI 调配的叶设备的流量。
由于我们在网络中配置了 IGMP 侦听和 SMET,因此主干仅将组播流量发送到具有相关接收器的叶设备。
在本文档中,我们将展示小规模的组播优化。在具有许多主干和叶的全尺寸网络中,优化的好处更加明显。
ERB 叠加网络优化的子网间组播
当您在 ERB 叠加网络结构内部和外部都有组播源和接收器时,您可以配置优化的子网间组播 (OISM),以实现大规模的高效组播流量。
OISM 对组播流量使用本地路由模型,从而避免流量发夹并最大程度地减少 EVPN 核心内的流量负载。OISM 仅在组播源 VLAN 上转发组播流量。对于子网间接收方,叶设备使用 IRB 接口将源 VLAN 上收到的流量本地路由到同一设备上的其他接收方 VLAN。为了进一步优化 EVPN-VXLAN 交换矩阵中的组播流量,OISM 使用 IGMP 侦听和 SMET 将交换矩阵中的流量仅转发到具有相关接收方的叶设备。
OISM 还使交换矩阵能够有效地将流量从外部组播源路由到内部接收器,以及从内部组播源路由到外部接收器。OISM 使用交换矩阵内的补充桥接域 (SBD) 来转发在边界叶设备上从外部源接收的组播流量。SBD 设计保留了外部源流量的本地路由模型。
可以将 OISM 与 AR 结合使用,以减少低容量 OISM 叶设备上的复制负载。(请参阅 组播流量的辅助复制。)
参见图 22,了解使用 OISM 和 AR 的简单交换矩阵。
图 22 显示了 OISM 服务器叶和边界叶设备、作为 AR 复制器角色的主干 1 和作为 AR 叶角色的组播源的服务器叶 1。外部 PIM 域中也可能存在外部源和接收器。在这种情况下,OISM 和 AR 协同工作,如下所示:
-
VLAN 1 上的服务器叶 3 后面和 VLAN 2 上的服务器叶 4 后面的组播接收器发送 IGMP 联接,表明对组播组感兴趣。外部接收器也可能加入组播组。
-
服务器叶 1 后面的组播源将该组的组播流量发送到 VLAN 1 上的结构中。服务器叶 1 仅将流量的一个副本发送到主干 1 上的 AR 复制器。
-
此外,组播组的外部源流量到达边界叶 1。边界叶 1 将 SBD 上的流量转发到主干 1(AR 复制器)。
-
AR 复制器将副本从源 VLAN 上的内部源和 SBD 上的外部源发送到具有相关接收器的 OISM 叶设备。
-
服务器叶设备将流量转发到源 VLAN 上的接收方,并将流量本地路由到其他 VLAN 上的接收方。
EVPN 入口虚拟机流量优化
在数据中心内或从一个数据中心移动到另一个数据中心时,如果流量未路由到最佳网关,则网络流量可能会变得低效。重新定位主机时可能会发生这种情况。即使有更理想的网关,ARP 表并不总是被刷新,发往主机的数据流也会发送到配置的网关。流量被“拖入”,不必要地路由到配置的网关。
入口虚拟机流量优化 (VMTO) 可提供更高的网络效率并优化入口流量,并可以消除 VLAN 之间的长号效应。启用入口 VMTO 时,路由将存储在第 3 层虚拟路由和转发 (VRF) 表中,设备会将入站流量直接路由回已重新定位的主机。
图 23 显示了没有入口 VMTO 的长号流量和启用了入口 VMTO 的优化流量。
如果没有入口 VMTO,当源路由来自 DC2 时,来自 DC1 和 DC2 的主干 1 和 2 都会播发远程 IP 主机路由 10.0.0.1。入口流量可定向到 DC1 中的主干 1 和 2。然后,它被路由到 DC2 中的主干 1 和 2,路由 10.0.0.1 被移动到其中。这会导致长号效应。
借助入口 VMTO,我们可以通过将 IP 主机路由 (10.0.01) 的策略配置为仅由来自 DC2 的主干 1 和 2 播发,而不是在将 IP 主机移动到 DC2 时由 DC1 通告,从而实现最佳转发路径。
有关配置 VMTO 的信息,请参阅配置 VMTO。
DHCP 中继
动态主机配置协议 (DHCP) 中继构建基块允许网络在 DHCP 客户端和 DHCP 服务器之间传递 DHCP 消息。此构建块中的 DHCP 中继实现通过网关位于主干层的 CRB 叠加层移动 DHCP 数据包。
DHCP 服务器和 DHCP 客户端使用叶设备上的访问接口连接到网络。当 DHCP 客户端和服务器位于同一 VLAN 中时,DHCP 服务器和客户端可以通过现有网络相互通信,无需进一步配置。当 DHCP 客户端和服务器位于不同的 VLAN 中时,客户端和服务器之间的 DHCP 流量将通过主干设备上的 IRB 接口在 VLAN 之间转发。您必须在主干设备上配置 IRB 接口,以支持 VLAN 之间的 DHCP 中继。
有关实现 DHCP 中继的信息,请参阅 DHCP 中继设计和实现。
通过 ARP 同步和抑制减少 ARP 流量(代理 ARP)
ARP 同步的目标是在为叠加子网提供服务的所有 VRF 之间同步 ARP 表,以减少流量并优化网络设备和终端系统的处理。当子网的 IP 网关获知 ARP 绑定时,它会与其他网关共享该绑定,因此它们无需独立发现相同的 ARP 绑定。
借助 ARP 抑制,当叶设备收到 ARP 请求时,它会检查与其他 VTEP 设备同步的自己的 ARP 表,并在本地响应请求,而不是使 ARP 请求泛洪。
默认情况下,可在 ERB 叠加网络中充当叶设备的所有 QFX 系列交换机上启用代理 ARP 和 ARP 抑制。有关这些交换机的列表,请参阅 数据中心 EVPN-VXLAN 交换矩阵参考设计 — 支持的硬件摘要。
叶设备上的 IRB 接口传递来自本地和远程叶设备的 ARP 请求和 NDP 请求。当叶设备收到来自其他叶设备的 ARP 请求或 NDP 请求时,接收设备会在其 MAC+IP 地址绑定数据库中搜索请求的 IP 地址。
如果设备在其数据库中找到 MAC+IP 地址绑定,它将响应请求。
如果设备找不到 MAC+IP 地址绑定,则会将 ARP 请求泛洪到 VLAN 中的所有以太网链路和关联的 VTEP。
由于所有参与的叶设备都会添加 ARP 条目并同步其路由表和桥接表,因此本地叶设备会直接响应来自本地连接主机的请求,而无需远程设备响应这些 ARP 请求。
有关实现 ARP 同步、代理 ARP 和 ARP 抑制的信息,请参阅 为边缘路由桥接叠加网络启用代理 ARP 和 ARP 抑制。
以太网连接的终端系统上的第 2 层端口安全功能
CRB 和 ERB 叠加层支持第 2 层以太网连接的终端系统上的安全功能,我们将在下一节中介绍这些功能。
有关这些功能的更多信息,请参阅 EVPN-VXLAN 环境中的 MAC 过滤、风暴控制和端口镜像支持。
有关配置这些功能的信息,请参阅 在以太网连接的终端系统上配置第 2 层端口安全功能。
通过风暴控制防止 BUM 流量风暴
风暴控制可以防止过多的流量降低网络性能。它通过监控 EVPN-VXLAN 接口上的流量级别,并在超过指定流量级别时丢弃 BUM 流量,来减轻 BUM 流量风暴的影响。
在 EVPN-VXLAN 环境中,风暴控制监控:
源自 VXLAN 并转发至同一 VXLAN 中的接口的第 2 层 BUM 流量。
由 VXLAN 中的 IRB 接口接收并转发到另一个 VXLAN 中的接口的第 3 层组播流量。
使用 MAC 过滤增强端口安全性
MAC 过滤通过限制可在 VLAN 内获知的 MAC 地址数量来增强端口安全性,从而限制 VXLAN 中的流量。限制 MAC 地址数量可防止交换机淹没以太网交换表。当学习的新 MAC 地址数导致表溢出,并且以前学习的 MAC 地址从表中刷新时,就会发生以太网交换表泛洪。交换机会重新学习 MAC 地址,这可能会影响性能并引入安全漏洞。
在此蓝图中,MAC 过滤会根据 MAC 地址限制发送到面向入口的接入接口的已接受数据包数。有关 MAC 过滤工作原理的详细信息,请参阅 了解 MAC 限制和 MAC 移动限制中的 MAC 限制信息。
使用端口镜像分析流量
借助基于分析器的端口镜像,您可以在 EVPN-VXLAN 环境中分析低至数据包级别的流量。您可以使用此功能强制实施与网络使用和文件共享相关的策略,并通过查找特定工作站或应用程序的异常或大量带宽使用情况来识别问题来源。
端口镜像会复制进出端口或进入 VLAN 的数据包,并将副本发送到本地接口进行本地监控,或发送到 VLAN 进行远程监控。使用端口镜像将流量发送到分析流量的应用程序,以便监控合规性、实施策略、检测入侵、监控和预测流量模式、关联事件等。