現代のデータセンターにおけるイーサネット仮想プライベートネットワークの台頭

イーサネット ネットワーキングの業界リーダーである Cumulus Networks の主任科学者である Dinesh Dutt 氏が最近、イーサネット仮想プライベート ネットワーク (EVPN) に関する Ivan Pepelnjak 氏のウェビナーを司会しました。

Dinesh Dutt 氏は、新興のイーサネット仮想プライベート ネットワーク (EVPN) に関する専門的な見解を述べました。データセンターの実用性と限界について説明します。

現在、データ センター アーキテクチャは多くの設計フェーズを経て、変革の過程にあります。理想的には、ネットワーク技術は 3 つの開発の波を経てきました。現在、それはイーサネット仮想プライベートネットワーク (EVPN) に基づく第 3 波にあります。技術は何らかの方向に傾く必要があり、現在、ネットワーク開発の焦点は第 3 層ネットワークにあります。リーフ アンド スパイン トポロジを採用する企業が増えるにつれ、イーサネット仮想プライベート ネットワーク (EVPN) は、このアーキテクチャ上で従来のアプリケーションを実行するためのテクノロジになりました。理解を深めるために、第 3 波のネットワーク メカニズムを理解しましょう。

[[243982]]

データセンターの出発点

開発の最初の波は、過去に企業ネットワークが設計された方法と同様のデータセンターを構築する試みでした。これには、標準アクセス、集約、コア レイヤーが含まれており、行の終わりのアーキテクチャにつながります。開発の最初の波は、ネットワークの中心にあり、外部へのゲートウェイとして機能するデバイスで構成されていました。

ネットワーク アーキテクチャの最初の波は、北から南へのトラフィックに適していました。このタイプのトラフィックはデータセンターに出入りします。ただし、データ センター内で実行される多くのアプリケーションでは、相互に通信したり相互に通信したりする機能が必要です。一方、仮想化は新しい東西トラフィックの重要な推進力となります。

残念ながら、最初の波のネットワーク設計では、東西トラフィックを効率的に実行できませんでした。レイヤー 2 ネットワークへの依存により、スケーリングと信頼性の問題が発生します。多くの場合、レイヤー 2 ネットワークは独自の拡張機能を含む脆弱なプロトコルに依存しています。

アクセス、集約、コアのアーキテクチャ全体は、レイヤー 2 スイッチング モデルを中心に構築されています。これは、トラフィック全体がネットワークの中心に到達するまで、レイヤー 2 ヘッダーを使用して転送することを意味します。スパニング ツリー プロトコル (STP)、マルチシャーシ リンク アグリゲーション (MLAG)、多数リンクの透過的相互接続 (TRILL)、Cisco FabricPath などのテクノロジはすべて、レイヤー 2 スイッチング モデルを使用するという考えに基づいて構築されています。

ただし、レイヤー 2 ネットワークの設計を開始した堅牢なレイヤー 3 ネットワーク モデルと比較すると、レイヤー 2 スイッチング モデルには、ネットワークの冗長性、規模、信頼性の点で多くの欠点があります。

レイヤー 2 とレイヤー 3 の主な違いは、パケット転送の仕組みです。レイヤー 3 ネットワークでは、アドレスはメディア アクセス制御 (MAC) アドレス レベルで検索され、パケット転送は MAC アドレスによって実行されます。これは、グローバル インターネット プロトコル (IP) アドレスであるネットワーク層でアドレス指定が機能するレイヤー 3 ネットワークとは対照的です。

堅牢なネットワークを実装する方法

堅牢なネットワーク規律には、ネットワークのパーティション分割につながる可能性のある単一の障害ドメインを含めないでください。したがって、企業は冗長設計を考慮する必要があります。しかし、ネットワークに冗長性がある場合、ループが発生しないようにパケットを転送するにはどうすればよいでしょうか?

有利なことに、レイヤー 3 ネットワークには、BGP、OSPF、IS-IS、Cisco の EIGRP などのいわゆるルーティング プロトコルがあります。ルーティング プロトコルは、ループのない転送トポロジの構築をサポートします。

2 番目の側面は、Time to Live (TTL) と呼ばれる IP ヘッダー内のフィールドです。パケットがレイヤー 3 デバイスを通過するたびに、TTL は 1 ずつ減少します。TTL がゼロに達すると、パケットは破棄されます。

したがって、第 3 層のネットワーク設計には、ループの形成を防ぐための 2 つのメカニズムがあります。 1 つ目は IP ヘッダーの TTL フィールドであり、2 つ目は特定のプレフィックスに対してループのない転送パスを構築するルーティング プロトコルです。しかし、第 2 層のネットワークでは、人々はそのようなメカニズムを持っていません。

レイヤー2ネットワークユーザビリティモデル

ネットワーク モデルの第 2 層は、使いやすさのモデルを中心に構築されています。初期の頃は、ルーティング プロトコルの使用は複雑であると考えられていました。ルーティング プロトコルの構成は複雑なハードウェア パケット スイッチングと見なされるため、レイヤー 2 ネットワークから開始すると、スループットが高くなり、レイテンシが低くなります。現在でも、ほとんどのプロバイダーはルーティングの使用に対して追加のライセンス料を請求していますが、レイヤー 2 ネットワークにはそのような料金はかかりません。第 2 層ネットワークの導入により、接続が完全に容易になります。

ただし、第 2 層ネットワーク モデルには、非常に危険な欠点もいくつかあります。レイヤー 2 ネットワーク モデルには、ループのない転送パスを構築できるプロトコルがありません。代わりに、洪水に基づいています。基本的に、レイヤー 2 ネットワーク スイッチが宛先 MAC アドレスを認識していない場合、パケットの送信元ポートを除くすべてのポートからパケットがフラッディングされ、送信元 MAC アドレスが記録されます。

単一の障害ドメインによってネットワークが分割されたり、ノードがブラックホール化したりしないように、第 2 層ネットワークに冗長性を持たせる必要があります。これらの問題を回避するには、ネットワークに冗長パスが必要です。

ただし、特定のプレフィックスに対してループのない転送パスを構築する存続時間 (TTL) またはメカニズムがないと、ループによってパケットが永久にループする可能性があります。単純にネットワークにパケットが溢れかえるだけなので、冗長パスの場合はネットワークが完全に崩壊する可能性があります。

レイヤー2ネットワークにおけるループの防止

レイヤー 2 ネットワーク ループを防ぐために、スパニング ツリー プロトコル (STP) が導入されました。スパニング ツリーはすべての冗長パスを調べて削除します。

スパニング ツリー プロトコルは、各ソース ルータに対してループのないトポロジを構築するルーティング プロトコルとは異なり、ネットワーク内のすべてのパケットに適用されるループのないトポロジを構築します。

ベンダーはスパニングツリーのパフォーマンスを向上させるためにさまざまなトリックを導入していますが、ネットワークの不安定性を引き起こす根本的な部分はフラッディングです。エンドステーションに損失が発生し、DoS 攻撃を受ける可能性が高くなります。

閉じるのに失敗したか開くのに失敗

ルーティング プロトコルのシャットダウンに失敗しました。ルーティング プロトコルが宛先に到達する方法を知らない場合、その宛先にパケットを送信しません。

ただし、スパニング ツリー プロトコルはその逆の動作をするため、オンにすることはできません。スパニング ツリーは、「応答がない場合は、パケットが必要であると想定します。また、後続のルーティング プロトコルとは対照的に、応答がない場合は、通信を望んでいないと想定します」という方法で構築されます。

開けないことはいろいろな意味で危険です。たとえば、ケーブルの不良により一方向の接続が発生したり、CPU が負荷をかけて hello パケットを適切なタイミングで送信できなくなったりすると、ループが発生する可能性があります。ルーティングでは、TTL によって最終的にパケットが終了し、ループが防止されます。ただし、レイヤー 2 ネットワークには TTL がないため、本質的に不安定なネットワークが作成されます。

レイヤー 2 ネットワークは拡散半径が大きく、細分化された障害ドメインを持ちません。 1 つのリンク障害がネットワーク全体に影響を及ぼす可能性があります。これらすべての要因により、ネットワークの第 1 波のデータ センター設計は非効率的になります。より簡潔な設計は、レイヤー 2 ネットワーク スイッチング モデルから IP およびネットワーク ルーティング プロトコルに移行することです。

データセンター設計における第2の発展の波

データ センター設計の第 2 の波は、予測可能で堅牢であり、きめ細かな障害ドメイン設計をサポートするスケーラブルなネットワークを構築することです。東西トラフィックを効果的にサポートすることに加えて、可能な限り多くの転送容量が必要です。シールドツイストペア (STP) では追加の帯域幅の使用が防止されるため、代替プロトコルを使用する必要があります。

この課題は、1950 年代の初期の電話ネットワークが直面した課題と似ています。ベル研究所のチャールズ・クロス博士は、クロス ネットワーク トポロジを使用してこの問題を解決しました。 Clos ネットワーク トポロジは複数のレイヤーに拡張できます。先駆的な Web スケール企業は、ポート数の少ない小型のホワイト ボックス スイッチを使用しているため、レイヤー 8 Clos ネットワークが必要です。ただし、ほとんどの人にとっては 2 層で十分です。

データ センター設計の新しい波はリーフ アンド スパインと呼ばれ、本質的には Clos ネットワークです。この設計により、単一ユニットのサイズに制限されないネットワークを構築できます。しかし、レイヤー 2 ネットワークについて考えると、拡張できる規模には限界があります。

容量はポート数だけでなく制御プラットフォームによっても制御されます。さらに、重要なのは、ネットワークがダウンするリスクなしに STP パケットをどれだけ速く送信できるかということです。ただし、リーフ アンド スパイン ネットワーク トポロジでは、すべての冗長リンクの容量を活用することで高い容量を実現します。このトポロジではベンダー固有の障壁が不要なため、IP とルーティングは完全に実装されます。

そのため、IP化することで第2層ネットワークの不安定性がなくなり、IP転送による大容量のダイレクトネットワークを実現できます。リーフとスパイン ネットワーク トポロジ設計は、非常にシンプルな構成要素を提供します。

ホワイトボックスへの移行

つまり、非常にシンプルな IP 転送ネットワークを構築する機会が生まれます。しかし、当時展開していたシスコやジュニパーネットワークスなどの業界大手は、ネットワーク トポロジが非常にシンプルになったため、高額な料金を支払う必要はありませんでした。

必要なのは IP ルーティングおよび転送プロトコルだけです。その結果、ホワイトボックススイッチの導入が始まっています。当初、ホワイトボックス スイッチの CPU はあまり高性能ではなかったため、Google などの企業はルーティング プロトコルを実行できませんでした。すべての制御ロジックの集中化はすぐに利用可能であり、ローカル デバイスで商用シリコンのみをプログラムできます。これにより、OpenFlow モデルが登場しました。

時間が経つにつれて、他の Web スケールの企業は、転送を中央の場所に引き出すのではなく、転送を設定するための従来の分散ルーティング プロトコルを設計しました。

リーフとスパインアーキテクチャを備えたルーティングプロトコル

まず、ルーティング プロトコルには、距離ベクトルとリンク ステートの 2 種類があります。それらの違いを理解するには、それらがどのように情報を伝達するかを知る必要があります。

距離ベクトルは、隣人が世界をどのように見ているかを示します。ただし、リンク ステート プロトコルは、各自のローカル ビューをつなぎ合わせてグローバル ビューを組み立てます。

通常、ネットワーク オペレータは距離ベクトルよりもリンク ステート プロトコルを好みます。これは、リンク ステート プロトコルの方が、障害が発生した場合に宛先へのパスを解決するのがより優れており、高速であるためです。ただし、距離ベクトル プロトコルは、混乱が生じて、無限にカウントするなどの問題が発生することがあります。

ただし、リンク ステートの場合、リンク ステート データベースのサイズが問題になる可能性があります。スケーリングの問題を回避するためにドメインを階層に分割するために使用される領域またはレベルの概念があります。

ボーダー ゲートウェイ プロトコル (BGP) は、パス ベクトル プロトコルとして知られる距離ベクトルのバリエーションです。ボーダー ゲートウェイ プロトコル (BGP) はグローバル インターネットを実行し、操作は簡単ですが、ルーティング プロトコルの導入と操作のすべての経験を必要とする複雑で成熟したプロトコルです。これは、オープンソース ルーティング スイートを含むさまざまな方法で実現できます。

データセンター設計の第3の波

しかし、残る問題は、アプリケーションが、元の第 1 波の開発モデルに存在すると想定していることです。アプリケーションは、「hello」をブロードキャストすることで近隣の全員と通信できるレイヤーで実行されていると想定します。

ただし、ブロードキャスト「hello」をルーティングすると、パケットは抑制され、ドロップされます。最初の開発の波で設計されたアプリケーションは、第 2 波のデータ センター設計であっても、元のインフラストラクチャで実行されていたときと同じように実行する必要があります。サービス検出には、レコード DNS を使用する代わりに、「hello」をブロードキャストする必要があります。

その結果、第 1 波のアプリケーションと第 2 波のデータ センターを組み合わせる方法を見つける必要があり、その結果、イーサネット仮想プライベート ネットワーク (EVPN) が生まれました。これは依然としてファブリックのコンセプトに基づいて構築されていますが、オーバーレイを使用して構築されています。オーバーレイにより、開発アプリケーションの第 1 波が第 2 層ネットワークに配置されているという錯覚が生じます。

ネットワーク仮想化

ネットワーク仮想化は、上記の錯覚を作り出すために使用される技術であり、階層化（つまり、オーバーレイの作成）を通じて実行されます。

ネットワーク仮想化は、現実世界のトンネルとまったく同じネットワーク トンネルを構築します。現実世界のトンネルの両端にある 2 つのエンドポイントは、何らかの方法でトンネルを迂回するか通過しない限り、通信できません。

ネットワーク内でトンネルを構築する方法は、基本的に、既存のパケットに別のヘッダー層を追加することによって行われます。一般的によく知られているレイヤーは、IP パケットの上位レイヤーであるマルチプロトコル ラベル スイッチング (MPLS) です。しかし、データセンターではマルチプロトコル ラベル スイッチング (MPLS) が複雑であるため、IP ベースのテクノロジを使用しない理由が求められています。これにより、Virtual Extensible LAN (VXLAN) が誕生しました。

まとめると、第 2 層ネットワークには、スパニング ツリー プロトコル (STP) を使用するコントロール プレーンと、ルーティング プロトコルを使用する第 3 層ネットワークがあります。ここで頭に浮かぶ疑問は、VXLAN にはどのようなコントロール プレーンを使用できるのかということです。基本的に、Virtual Extensible LAN (VXLAN) の制御プロトコルは 2 つのことを行う必要があります。まず、どのエンドポイントがトンネルに使用可能か、つまり宛先とトンネルのマッピングがわかります。次に、トンネルがどこにいくつあるかがわかる必要があります。イーサネット仮想プライベートネットワーク (EVPN) がその答えです。

この錯覚を生み出すために、プロトコルとしてのボーダー ゲートウェイ プロトコル (BGP) は、IP アドレスだけでなく、MAC 到達可能性情報の送信をすでにサポートしています。イーサネット仮想プライベート ネットワーク (EVPN) 内では、ボーダー ゲートウェイ プロトコル (BGP) は仮想トンネルを構築するために使用されるコントロール プレーン プロトコルであり、第 1 波のアプリケーションを第 2 波のネットワークで実行できるようにします。