Amazon Web Services: クラウドサービスのコスト効率を継続的に最適化するための包括的な基盤技術革新

以前、クラウド コンピューティングは人間の生活や仕事の仕方に革命をもたらしたと述べました。今日、人々はクラウド コンピューティングのより高いコスト効率を追求しています。

企業ユーザーは、エネルギー消費を増やすことなく、クラウドを通じてより強力なデータ処理機能、より高速な応答速度、より低いコストを実現したいと考えています。 「高性能、高セキュリティ、低コスト」を実現するには？ 11 年連続で Gartner Magic Quadrant のクラウド インフラストラクチャおよびプラットフォーム サービス (CIPS) 部門のリーダーに選出されているベンダーとして、Amazon Web Services は、チップのイノベーションが最も基本的なイノベーションであり、最も破壊的なイノベーションであり、クラウド コンピューティング ゲームのルールを変える力であると考えています。

アマゾンのグローバル副社長兼アマゾンウェブサービス大中華圏のエグゼクティブディレクターである張文毅氏は、クラウドコンピューティング技術とサービスの実際の効果は主に基礎となるパフォーマンスに基づくと述べたことがある。草の根レベルで起こるイノベーションは、最も破壊的なものとなることが多い。システム アーキテクチャとチップの基盤となる革新的なアップグレードは、顧客のクラウド エクスペリエンスの質的な飛躍をもたらすだけでなく、従来の IT 業界のゲームのルールも変えることになります。

第5世代仮想化チップNitro

まず、クラウド サービスのコンピューティング リソースがユーザーのワークロード要件をより適切に満たし、クラウド コンピューティング リソースの基盤となるネットワーク、ストレージ、セキュリティ制御の複雑さについてユーザーが心配しなくて済むようにするにはどうすればよいでしょうか。 Amazon Nitro は、Amazon Web Services が提供する最良の答えです。

2017 年以降、Amazon Web Services は、ユーザーのアプリケーションがより優れたパフォーマンスを実現できるように、コンピューティング、ストレージ、ネットワークなどの従来の負荷を専用ハードウェアにオフロードする独自の Amazon Nitro システムを開発し、仮想化と顧客インスタンスのパフォーマンスを大幅に向上させています。 Nitro システムは、EC2 インスタンスのセキュリティ パフォーマンスを総合的に向上させ、コンピューティング、ストレージ、ネットワークのパフォーマンスをさらに向上させることができます。 Nitro システムはベアメタル EC2 インスタンスもサポートしており、すべてのサーバー リソースを顧客の負荷に最大限活用できます。

Amazon Nitro v5 は、最近開催された 2022 Amazon Web Services re:lnvent Global Conference で発表されました。第 4 世代と比較して、第 5 世代 Nitro チップはトランジスタ数が 2 倍、コンピューティング性能が 2 倍、PCI-E 帯域幅が 2 倍、メモリ アクセス速度が 50% 向上しています。 Nitro v5 は、1 秒あたりのパケット数が 60% 増加し、レイテンシが 30% 減少するとともに、ワットあたりのパフォーマンスが 40% 向上します。第 5 世代の Nitro は専用の I/O 機能モジュールを提供し、EC2 インスタンスのパフォーマンス負荷をさらに軽減して、より多くのリソースをワークロードに割り当てることができます。

Amazon EC2 C7gn インスタンスは、最初の Nitro v5 ベースのインスタンスであり、より高いネットワーク帯域幅、より高いパケット転送パフォーマンス、およびより低いレイテンシーにより、ネットワーク集約型のワークロードに極めて優れたパフォーマンスを提供します。現世代のネットワーク最適化インスタンス C6gn と比較すると、C7gn は CPU ごとに最大 2 倍のネットワーク帯域幅 (100 Gbps から 200 Gbps) を提供し、1 秒あたりのパケット転送パフォーマンスを 50% 向上させます。

高性能コンピューティングサーバーCPUチップGraviton 3E

Amazon Web Services は、顧客のワークロードに対する深い理解に基づいて、よりターゲットを絞った、より具体的なさまざまな自社開発チップをリバースエンジニアリングし、業界の従来の認識と習慣を絶えず打ち破り、クラウドコンピューティング業界の急速な発展を加速しています。たとえば、ARM をベースにした Amazon Graviton の自社開発チップは、従来の IT 業界の独立系チップメーカーへの依存を打ち破りました。パフォーマンスをさらに向上させ、コストを削減し、より多くの人々がクラウドを利用する機会を得られるよう、Amazon Web Services は昨年、前世代に比べて 25% のパフォーマンス向上と 60% のエネルギー消費削減を実現した Graviton 3 をリリースしました。今年の re:lnvent グローバル カンファレンスで、Amazon Web Services は Amazon Graviton3E チップを発表しました。

Amazon Graviton3E は、高性能コンピューティングのワークロードで一般的な浮動小数点演算とベクトル演算向けに最適化された Gravtion3 チップのカスタマイズされた製品です。 Gravition3 と比較すると、Graviton3 は線形代数演算ベンチマーク HPL で 35% のパフォーマンス向上を実現しています。分子動力学テスト Gromacs のパフォーマンスが 12% 向上しました。金融オプションの価格設定ワークロード テストのパフォーマンスが 30% 向上しました。

Hpc7g インスタンスは Graviton3E チップを使用します。 Hpc7g インスタンスの浮動小数点性能は、Graviton2 プロセッサを使用する現行世代の C6gn インスタンスと比較して 2 倍、現行世代の Hpc6a インスタンスと比較して 20% 向上しており、最大数万コアの高性能コンピューティング クラスターで複雑な計算を実行できます。 Hpc7g インスタンスは、高いメモリ帯域幅と 200Gbps EFA (Elastic Fabric Adapter) ネットワーク帯域幅も提供し、高性能コンピューティング アプリケーションをより高速に実行して完了できます。お客様はオープンソースのクラスター管理ツール Amazon ParallelCluster を通じて Hpc7g インスタンスを使用し、Hpc7g インスタンスを他のインスタンスタイプと一緒に構成することで、同じ高性能コンピューティング クラスター内でさまざまなワークロード タイプを柔軟に実行できます。

AI推論チップInferentiaとトレーニングチップTrainium

Amazon Web Services では、Amazon Graviton シリーズに加えて、機械学習の推論とトレーニング用の独自のアクセラレーション チップである Amazon Inferentia と Amazon Trainium も開発し、顧客に優れたコスト効率を提供しています。

大規模言語モデルの出現により、ディープラーニングは次の段階に進みましたが、パラメータの数が膨大になったことで、推論に必要な計算能力とコストが増加しました。 2019 年には、Amazon Web Services の Inferentia チップの第 1 世代が Inf1 インスタンスに登場し、GPU インスタンスよりもコスト効率に優れたオプションをユーザーに提供しました。当時、ほとんどのディープラーニングモデルのパラメータは数百万でしたが、現在では、Baidu の PLATO-XL 対話生成モデルや Amazon の AlexaTM など、一部のディープラーニングモデルのパラメータは数百億を超えています。

この目的のために、Amazon Web Services は、最大 1,750 億のパラメータを持つ大規模なディープラーニング モデルをサポートできる新しい Inferentia2 チップをリリースしました。 Inferentia2 チップに基づく Inf2 インスタンスは、初めて分散推論もサポートし、大規模なモデルを複数のチップに分散して推論します。 Inf2 は、前世代の Inf1 インスタンスと比較して、最大 4 倍のスループットと 10 分の 1 のレイテンシを実現し、GPU インスタンスと比較してエネルギー効率を 50% 向上させます。

数千のパラメータを持つ従来の Backprop から、百万レベルの Bert、十億レベルの GPT-3、PAML、さらには超大規模な Switch-C に至るまで、大規模な AI モデルのトレーニングでは、コンピューティング チップに新たな要求が課せられています。同時に、コンピューティング チップはデータ ネットワーク レベルでも新たな課題に直面しています。

次世代コンピューティング、メモリアクセラレーション、並列トレーニング、低ネットワークレイテンシの AI トレーニングのニーズを満たすために、Amazon Web Services は Trn1n インスタンスを開始しました。 Trn1 インスタンスのネットワークを最適化し、1600Gbps EFA ネットワーク機能を追加することで、超大規模な分散モデル トレーニング シナリオをより高速に処理できるようになりました。

ネットワークプロトコルの革新

Amazon Web Services は、高性能コンピューティングでよく使用される EFA ネットワーク インターフェース、Amazon EBS ブロック ストレージ ネットワークのパフォーマンス、および ENA ネットワークのパフォーマンスを向上させるために、コアとなる SRD ネットワーク プロトコルも革新し、SRD ネットワーク プロトコルに基づく高速仮想ネットワーク カード ENA Express を正式にリリースしました。

従来の TCP シングルパス ルーティング ネットワークと比較して、Amazon Web Services 独自の SRD (Scalable Reliable Datagram) プロトコルはマルチパス ルーティングを使用します。このプロトコルはデータ パケットを順番に送信するのではなく、順序どおりに到着しなかった場合にそれらを整理することができます。

SRD は、ドロップされたパケットを「ミリ秒ではなくマイクロ秒単位で」再送信し、Amazon Web Services でホストされているネットワークを高速化します。 Nitro ハードウェアに基づいて調整および最適化されているため、TCP よりもパフォーマンスが優れています。 Amazon Web Services は、Nitro システムを通じてコン​​ピューティング、ネットワーク、およびストレージのトランザクションをホストから分離し、ハードウェアのパフォーマンスを向上させます。

ENA Express は、Elastic Fabric Adapters を搭載した SRD プロトコルに基づいて、トラフィックの P99 レイテンシを 50%、P99.9 レイテンシを 85% 削減します (TCP と比較)。また、最大シングルフロー帯域幅を 5Gbps から 25Gbps に増加し、フローあたりの帯域幅を増やして変動性を低減します。

結論

クラウドコンピューティングの新たな発展段階において、クラウドインフラの展開に欠かせないチップは、大手クラウドベンダーが「内部の強さ」を高めるための戦場となっている。 Amazon Web Services は、仮想化チップ Nitro、サーバーチップ Graviton、AI/ML チップの 3 つの製品ラインで努力を続け、技術の限界を次々と突破し、セキュリティを犠牲にすることなくコストを削減し、パフォーマンスを向上させ、顧客のアプリケーションがクラウドでより良く発展し続けることを目指しています。