在上篇“最佳實踐：構建新一代智慧、可靠、可排程的大型骨幹網路（上）”中提到了UCloud資料中心野蠻式增長給MAN網路和骨幹網帶來了極大挑戰以及UCloud骨幹網1.0、2.0的演進路線、SR技術部分原理介紹。本文將重點介紹UCloud如何透過Segment Routing技術改進控制面和轉發面，實現智慧、可靠、可排程的新一代骨幹網。
新一代骨幹網架構
設計目標：
控制器智慧計算路徑和頭端自動計算路徑：控制器實時收集轉發裝置狀態資訊，響應轉發節點路徑計算請求和路徑下發。全場景接入，實現靈活組網：支援使用者本地專線、網際網路線路混合接入方式，實現使用者靈活組網。多維度SLA路徑規劃：滿足多業務不同路徑轉發需求，確保關鍵業務的優先順序和服務質量。降低專線成本，提高整體專線利用率：廢除骨幹網2.0中的VXLAN技術，縮減包頭開銷，降低專線成本；透過智慧流量排程合理規劃專線容量。流量視覺化，按需排程：透過telemetry和netflow技術實現骨幹網流量視覺化，針對部分“熱點流量”和“噪聲流量”進行按需排程。
整體架構如下：
接入側邊界：接入側分為三種裝置型別：CPE、M-Core、VPE&VCPE。
CPE：主要用於接入本地專線客戶；
M-Core：公有云MAN網路核心，實現各都會網路接入骨幹網；
VPE：透過Internet或者4G/5G網路接入使用者分支機構的VCPE裝置，提供使用者混合組網能力。
近年來，雲資料中心SDN網路設計思路大行其道，其主要思想是轉控分離，轉控分離好處不用多說，當然也有其弊端；SDN資料中心網路中的控制面故障有太多血的教訓，控制面故障帶來的轉發面影響也是重大的；畢竟轉發面才是真正承載客戶業務的地方，所以我們在設計新一代骨幹網時需要考慮控制器故障時，如何保持轉發層面的獨立可用性。
控制面設計
新一代骨幹網的控制面主要包括兩個方面：一、智慧控制器；二、 SR-TE骨幹網路由設計控制面。
01智慧控制器
控制器的主要架構設計如下：
整個控制器的目標為實現一致的配置下發與可擴充套件的排程策略。基於裝置全球部署的特點以及網路並非百分之百穩定的前提，該系統採用了資料層跨地域部署，同時為了兼顧正常情況下控制器的快速響應，控制節點採用了分機房的叢集部署方式來保證業務的可靠性與高效的排程能力；上層控制系統透過BGP-LS、Telemetry技術採集轉發鏈路狀態資訊，收集到資料庫，之後對採集到的資料進行分析處理，最後透過netconf和PCEP方式下發配置和智慧計算路徑。
其中資料採集主要包括：
基本的IGP拓撲資訊（節點、鏈路、IGP度量值）BGP EPE（Egress peer Engineering）資訊SR資訊（SRGB、Prefix-SID、Adj-SID、Anycast-SID等）TE鏈路屬性（TE度量、鏈路延遲度量、顏色親和屬性等）SR Policy資訊（頭端、端點、顏色、Segment列表、BSID等）
Netconf和PCEP主要用於配置下發和路徑計算：
頭端向控制器請求路徑計算；控制器針對收到路徑計算請求進行路徑計算頭端從控制器學到路徑，控制器透過PCEP向頭端傳遞路徑資訊頭端向控制器報告其本地的SR Policy實現能力如下：快速的故障響應：由於內部自定義的演算法需求，線上路或者節點出現問題時，需要重新計算整張拓撲，以避開故障鏈路；快速實現手動故障域隔離：藉助架構的優勢，實現所有流量線上路級別與節點級別的隔離；快速自定義調優路徑：可以根據客戶的需求快速將客戶流量引導到任意路徑上，保證客戶各類路徑需求；客戶流量秒級實時監控：可監控流級別的客戶故障，並實現故障情況下的路徑保護；
02SR-TE骨幹網控制面
為了實現使用者L2和L3接入場景需求，在骨幹網規劃設計了基於MP-BGP的L3VPN和BGP-EVPN的L2VPN，下面來做一個簡單的介紹。
MP-BGP
新一代基於SR技術的骨幹網採用了MPLS-VPN的技術特性，大致需要如下元件：
首先需要在MPLS VPN Backbone內採用一個IGP（IS-IS）來打通核心骨幹網路的內部路由；PE上建立VRF例項，與不同的VRF客戶對接，VPN例項關聯RD及RT值，並且將相應的埠新增到對應的VRF例項；PE上基於VRF例項執行PE-CPE&VPE、M-Core間的路由協議，從CPE&VPE、M-Core學習到站點內的VRF路由；PE與RR之間，建立MP-IBGP連線，PE將自己從CE處學習到的路由匯入到MP-IBGP形成VPNv4的字首並傳遞給對端PE，並且也將對端PE傳送過來的VPNv4字首匯入到本地相應的VRF例項中；為了讓資料能夠穿越MPLS VPN Backbone，所有的核心PE啟用MPLS及SR功能。
在傳統的MPLS-VPN技術的基礎上，摒棄LDP，啟用SR功能來分配公網標籤，內層標籤繼續由執行MP-BGP協議的PE裝置來分配。
BGP-EVPN
在MPLS網路中實現使用者L2場景的接入需求，有很多解決方案比如VPLS，但是傳統的VPLS還是有很多問題，比如：不提供 All-Active 雙歸接入，PE流量泛洪可能導致環路風險以及重複資料幀。
為了解決VPLS的問題，我們在新一代骨幹網架構中採用了BGP-EVPN協議作為L2網路的控制面；EVPN網路和BGP/MPLS IP VPN的網路結構相似，為了實現各個站點（Site）之間的互通，骨幹網上的PE裝置建立EVPN例項並接入各個站點的CE裝置，同時各個PE之間建立EVPN鄰居關係；由於EVPN網路與BGP/MPLS IP VPN網路的不同之處在於各個站點內是二層網路，因此PE從各個CE學習到的是MAC地址而不是路由，PE透過EVPN特有的路由型別將自己從CE學習到MAC地址轉發到其它Site。
BGP-EVPN有三個比較重要的概念：
1、EVPN Instance (EVI) ：EVPN是一種虛擬私有網路，在一套物理裝置上可以有多個同時存在的EVPN例項，每個例項獨立存在。每個EVI連線了一組或者多組使用者網路，構成一個或者多個跨地域的二層網路。
2、Ethernet Segment（ESI）：EVPN技術為PE與某一CE的連線定義唯一的標識ESI（Ethernet Segment Identifier），連線同一CE的多個PE上的ESI值是相同，連線不同CE的ESI值不同。PE之間進行路由傳播時，路由中會攜帶ESI值使PE間可以感知到連線同一CE的其它PE裝置。
3、ET（EthernetTag）：每個EVI可以構成一個或者多個二層網路。當EVI包含了多個二層網路時，透過Ethernet Tag來區分這些二層網路。如果我們把二層網路看成是廣播域的話（Broadcast Domain），那麼ET就是用來區分不同廣播域的。
為了不同站點之間可以相互學習對方的MAC資訊，因此EVPN在BGP協議的基礎上定義了一種新的NLRI（Network Layer Reachability Information，網路層可達資訊），被稱為EVPN NLRI。EVPN NLRI中包含如下幾種常用的EVPN路由型別：
相比較VPLS，EVPN的優勢如下：
1、整合 L2 和 L3 VPN服務；
2、 類似L3VPN的原理和可擴充套件性和控制性；
3、支援雙歸接入，解決容災和ECMP問題；
4、 可選擇 MPLS，VXLAN作為資料平面；
5、對等PE自動發現， 冗餘組自動感應。
BGP-LS
1、所有PE和RR建立BGP-LS鄰居，PE將各自的鏈路資訊、標籤資訊以及SR Policy狀態傳遞給RR；
2、RR與控制器建立BGP-LS鄰居，將IGP的鏈路狀態資訊轉換後上報控制器。
01骨幹網核心層
骨幹網PE裝置之間執行ISIS-L2，並開啟SR功能，規劃Node-SID、Adj-SID、Anycast-SID；PE基於環回口與RR建立MP-IBGP鄰居關係，傳遞各站點VPNv4路由，實現L3VPN使用者業務轉發；同時PE採用BGP EVPN作為Overlay路由協議，基於環回口地址建立域內BGP EVPN 鄰居關係，採用SR-TE隧道封裝使用者二層資料，實現L2VPN使用者業務透過SR-TE轉發。
一般分為SR-BE和SR-TE：
SR-BE由兩層標籤組成：內層標籤為標識使用者的VPN標籤，外層標籤為SR分配的公網標籤；
SR-TE由多層標籤組成：內層標籤為標識使用者的VPN標籤，外層標籤為SR-TE標籤，一般由裝置頭端計算或者透過控制器下發的標籤棧；
L2使用者透過查詢MAC/IP route來實現標籤封裝，L3使用者透過查詢VRF中的私網路由來實現標籤封裝。
02骨幹網邊界層
骨幹網PE與CPE&VPE以及公有云的M-Core執行EBGP收發使用者路由，透過BGP實現資料轉發；CPE和VPE與接入使用者CE以及VCPE執行EBGP；特別需要注意的是VPE與VCPE是透過Internet建立的BGP，所以需要透過IPsec協議進行資料加密。
介紹完整個骨幹網的架構設計後，我們將分別針對骨幹網的智慧、可靠、可排程三大特性進行剖析。
新一代骨幹網三大特性
01智慧
控制器統一編排業務場景：
1、分支網路裝置自動化部署，實現控制器自動計算路徑和流量統一排程以及業務編排；
2、控制器透過BGP-LS等收集網路拓撲、SR-TE資訊以及SR Policy資訊，並根據業務需求進行路徑計算，然後透過BGP-SR-TE/PCEP等協議將SR Policy下發到頭端節點。
頭端自動算路和自動引流：
1、分散式控制面，防止控制器故障帶來的整網癱瘓影響，支援頭端自動引流，廢除複雜的策略引流機制；
毫秒級拓撲收斂、鏈路重算、路徑下發：線路故障場景下控制器可以做到毫秒級的拓撲收斂、故障鏈路重算以及備份路徑下發；流級別路徑展示：實現基於資料流級別的路徑查詢和展示。
02可靠
全球核心節點專線組網：節點之間提供運營商級的專線資源，SLA可達99.99%；雙PE節點 Anycast-SID保護：地域級的雙PE配置Anycast-SID標籤，實現路徑的ECMP和快速容災收斂；Ti-LFA無環路徑保護：100%覆蓋故障場景，50ms內完成備份路徑切換；SR-TE主備路徑保護：SR-TE路徑中規劃主備Segment-List，實現路徑轉發高可用；SR-TE路徑快速逃生：SR-TE故障場景下可以一鍵切換到SR-BE轉發路徑（IGP最短路徑轉發）；Internet級骨幹網備份：為了保障新一代骨幹網的高可靠性，在每個地域的PE裝置旁路上兩臺公網路由器，規劃了一張1:1的Internet骨幹網，當某地域專線故障時可以自動切換到Internet線路上；同時使用Flex-Algo技術基於Internet級骨幹網規劃出一張公網轉發平面用於日常管理流量引流。
03可排程
根據五元組，識別並定義應用，支援Per-destination、Per-Flow排程；跨域之間根據應用業務分類定義多條不同型別SR-TE隧道；每種型別隧道定義主備路徑，支援SR-TE一鍵逃生；透過靈活演算法定義Delay、頻寬、TCO（鏈路成本）、公網隧道等多種網路切片平面；智慧控制器支援自動下發、自動計算、自動調整、自動引流和自動排程。
當前根據業務需求規劃瞭如下幾種骨幹網排程策略：
SR Policy中基於Color定義兩種引流方式：
1、Per-Destination引流模板：Color在某種程度上將網路和業務進行了解耦，業務方可以透過Color來描述更復雜的業務訴求，SR-TE透過Color進行業務關聯。
2、Per-Flow引流模板：透過DSCP標記業務，或者ACL進行流分類對映到Service-Class等級，Service-Class關聯Color進行業務引流。
Color資源規劃
Color屬性在SR-TE中標記路由，用於頭端節點進行靈活引流；新一代骨幹網路設計的流量排程中定義四種Color型別：
城市Color：每個城市每使用者VRF路由必須攜帶的Color值，用於全域性流量排程使用【每個城市預設分配9種相同Color分別關聯到不同的業務】。
業務Color：在Per-flow（基於流分類排程）場景中使用，每個城市的MAN網路和使用者私網路由標記使用，全域性引流作用。
本地Color：在Per-flow（基於流分類排程）場景中結合自用Color使用，對映Service-Class服務等級，關聯到業務模板。
Color分配規則
最佳實踐方案
下面以流排程為例來介紹UCloud骨幹網業務基於SR技術結合的最佳實踐方案。
Per-Flow場景下業務模板/Color與Service-Class服務等級關聯
1.Per-Flow流量排程規劃每個城市分配一個業務Color，MAN網路路由在PE裝置上標記各城市業務Color；
2.每個頭端節點PE上定義8種排程策略，對應於不同的業務模板，其中2個業務模板保留；業務模板與Color、Service-Class定義標準的對映關係；
3.點到點的城市之間預設支援2條FM自定義策略（自定義隧道策略）；
4.IGP、Delay使用動態SR Policy，其它隧道採用靜態SR Policy策略；
5.Per-Flow 場景下的endpoint地址支援Anycast-SID，頭端的一臺PE到末端兩臺城市的PE只需要定義一條SR Policy即可；
6.以20個核心城市為例，單個城市的PE Per-Flow的SR Policy數量為19*7=133條。
在規劃中，UCloud基礎網路團隊根據公有云業務型別將業務進行分類，分類方法是對具體業務進行DSCP標記；然後資料包到了骨幹網PE後再根據DSCP進行靈活引流。
業務模板與Service-Class服務等級對映：
我們將骨幹網當作一個整體，這個整體的邊界埠使用DSCP和ACL入Service-Class，下面明確定義下何為邊界埠。
邊界埠：
PE連線CPE&VPE、MAN網路側的介面
DSCP入隊方式：
骨幹網邊界埠預設信任接入側使用者的DSCP值，根據相應的DSCP入隊到Service-Class服務
ACL入隊方式：
1.在一些特殊場景下需要針對某些業務透過ACL分類後入隊到Service-Class服務<業務本身無法攜帶DSCP>
2.每種隧道排程策略都可以透過ACL對流進行分類，然後入隊到Service-Class
1.在PE上配置流分類，按照業務等級，將不同的DSCP值對映到Service-Class(8種等級)
2.為隧道（Service-Class）配置對應的排程策略
3.業務流在PE裝置上會先根據路由迭代看是否選擇隧道（SR Policy），然後再去比對流的DSCP值是否和SR Policy中Service-Class對映設定一致，一致流將從對應隧道透過
分類業務和SR-TE隧道對映關係如下：
1、預設所有業務按照規劃的DSCP和排程策略進行關聯；
2、使用ACL實現特殊業務型別進行臨時策略排程。
SR-TE流量工程案例
下面介紹一個SR-TE實際排程的案例分享：
業務流量背景
業務高峰時段基礎網路收到香港-新加坡專線流量突發告警，智慧流量分析系統發現突發流量為安全部門在廣州與雅加達節點同步資料庫。
排程前流量模型
正常情況下廣州去往雅加達的流量透過IGP最短開銷計算出的路徑為：廣州--->香港--->新加坡--->雅加達，由於香港-新加坡段為出海流量的中轉點，所以經常會在高峰期出現鏈路擁塞情況。
傳統流量排程方案
2、基於目的地址的流量進行限速，保障鏈路頻寬。
傳統排程存在問題
1、逐跳配置策略路由，配置複雜，運維難度大；
2、粗暴的限速策略有損內部業務。
SR-TE流量排程方案
SR-TE流量排程優勢
2、基於業務流進行靈活流量排程（目的地址+業務等級）。
未來演進
上文用很長的篇幅介紹了UCloud骨幹網歷史和新一代骨幹網架構設計細節，其實當前基於公有云業務排程只能從MAN網路開始，還不支援從DCN內部開始排程；未來UCloud基礎網路團隊將設計基於Binding SID技術的公有云業務端到端的流量排程工程，大致規劃如下：
骨幹網為每個城市的端到端SR-TE隧道分配一個Binding SID，用於資料中心雲租戶引流；資料中心宿主機透過VXLAN將租戶流量送到骨幹網UGN(公有云跨域閘道器)；UGN解封裝VXLAN報文後，封裝MPLS標籤，內層標籤用於區分租戶，外層標籤用於封裝遠端城市的Binding SID標籤；PE裝置收到帶有目標城市的Binding SID後，自動引流進對應的SR-TE隧道進行轉發；對端PE收到報文後解封外層MPLS報文，然後轉發給UGN，UGN根據內層標籤和VXLAN的VNI的對映關係進行轉換，最終透過IP轉發至DCN的宿主機上。
總結
UCloud骨幹網總體設計目標是智慧、可靠、可排程，一方面透過全球專線資源將各Region公有云資源、使用者資源打通；另一方面在接入側支援本地線路+網際網路線路接入，構建骨幹網混合組網能力，從而形成了一張穩定且高效能的骨幹網，為上層公有云業務、使用者線下、線上資源開通提供可靠的傳輸網路，整體上來看骨幹網是UCloud公有云網路體系中非常重要的一個組成部分。
UCloud基礎網路團隊在過去的一年重構新一代骨幹網，使其具備了智慧、可靠、可排程的能力，從而能夠合理的規劃專線資源，降低了專線成本，且骨幹網整體效能得到極大提升。未來UCloud基礎網路團隊將會繼續緊跟骨幹網技術發展潮流，為整個公有云跨域產品提供智慧、可靠、可排程的底層網路。