UCloud 踩過的那些坑

從 2013 年開始，UCloud 開始使用 Open vSwitch 來構建基于 Openflow 技術的公有云 SDN 虛擬網絡。也因此，同年， UCloud 提供物理云產品的時候，選用了支持 OpenFlow 的 SDN 交換機，以實現物理云產品和公有云 VPC 網絡的互通。

2014 年，隨著 UCloud 業務的擴大和快速發展，已有的交換機所提供的 OpenFlow 流表有限的條目已經無法支撐實際物理云產品業務的需求。

2015 年，已經在 DPDK 技術上做了兩年研究儲備的 UCloud 領先在產品環境推出了采用 DPDK 技術的服務器集群，從而替代硬件 SDN 交換機，滿足業務層面的需求。

但隨著以太網技術的發展，人工智能、大數據等應用的落地，網絡技術的發展得到了爆發般的發展，25G、100G 的網絡迅速得到普及， DPDK 網關集群的轉發性能和成本問題逐漸成為業務發展的瓶頸。

時間來到了 2019 年， UCloud 開始使用智能網卡（Smart NIC）來替代原有的 DPDK 網關集群。UCloud 采用的智能網卡方案采用了 16 核 ARM CPU 運行 OVS 作為 SlowPath，采用 Linux TC Flower 卸載技術將網卡芯片作為 FastPath，通過 SRIOV 技術和用戶系統集成，很好地解決了性能問題，但與此同時，其所帶來的高昂采購成本造成了成本的提升。此外，由于所采用的智能網卡的轉發面尚不可編程，也使得任何新的特性都需要網卡芯片廠商修改固件來實現。甚至一些比較復雜的特性也不能實現。比較典型的例子就是為了讓智能網卡支撐 UCloud 使用的 Overlay 封裝格式，就花費了半年時間才在和網卡芯片廠商反復溝通協調下完成，而類似帶寬控制、硬件卸載的特性卻難以實現。