なぜ新しいストレージとコンピューティングの分離が主流になるのでしょうか?

「世界は長い分裂の期間の後、最終的には統一され、長い統一の期間の後、最終的には分裂する」という古い格言があります。

同様に、データ センターの長年にわたる発展の中で、コンピューティングとストレージも多くの分離と統合を経験してきました。メインフレーム上のコンピューティングとストレージの密接な結合から、ミニコンピュータ上の従来の IOE ストレージとコンピューティングの分離アーキテクチャ、そしてクラウドで登場し、ストレージとコンピューティングを再び統合できるようになったハイパーコンバージェンスまで、コンピューティングとストレージは、時には近く、時には遠く離れながらも、長年にわたって一緒に存在してきた CP のペアのようなものです。

コンピューティングとストレージが何度も分離および統合されてきた理由は、需要の変化によってアーキテクチャ層が対応する変更を余儀なくされた一方で、コンピューティングとストレージ間の補完的かつ協調的な発展の関係は変わっていなかったためです。現在、クラウドやインターネットのビジネスシナリオが数多く登場し、ストレージとコンピューティングの新たな分離アーキテクチャが登場し始めており、コンピューティングとストレージは再び分離に向けて加速しています。

ストレージとコンピューティングの分離アーキテクチャが、今後 10 年間でデータ センターの最大のトレンドになるのはなぜでしょうか?新しいストレージとコンピューティングの分離アーキテクチャは、これまでのものとどう違うのでしょうか?新しいストレージとコンピューティングの分離アーキテクチャの主要なテクノロジーと課題は何ですか?最近、CCFフェロー、情報ストレージ委員会委員長、清華大学教授、厦門大学情報学院学長のShu Jiwu教授による「新しいストレージとコンピューティング分離アーキテクチャの技術的展望」と題する論文が業界で大きな反響を呼んでいます。見てみましょう。

シナリオはドライブストレージとコンピューティングを再び分離する

Shu Jiwu 教授は論文の中で、クラウド、インターネット、ビッグデータ、AI によって推進される新しいビジネス シナリオの急速な発展が、サーバーベースのストレージ展開に基づく統合アーキテクチャに大きな課題をもたらしていると指摘しました。その主な課題は次のとおりです。

まず、データ保持サイクルがサーバー更新サイクルと一致しません。第二に、パフォーマンスの信頼性とリソース利用率の両方を達成することは困難です。 3 つ目は、サーバーレス アプリケーションなどの新しい分散アプリケーションでは共有ストレージが求められることです。 4 番目に、データセンター税はデータ集約型アプリケーションの非効率性につながります。

Shu Jiwu教授が提起した4つの大きな課題をどのように理解すればよいでしょうか?まずはビジネスモデルの変化と資源需要への対応という観点から解釈してみましょう。

周知のとおり、デジタル変革の深化に伴い、多くの業界ユーザーは多数のクラウドおよびインターネットビジネスシナリオを抱えています。ビジネス形態は徐々に変化し、ビジネスはよりダイナミックになり、インフラストラクチャ リソースの柔軟性と活用に対する要件が大幅に増加しています。現時点では、サーバーベースのストレージ展開に基づく統合アーキテクチャの欠点は拡大し続けています。

たとえば、コンピューティングとストレージの更新サイクルが一致しないため、拡張時にリソースが適切に使用されず、データ移行などのワークロードが増加します。ビジネスをサポートするサーバー ストレージは、パフォーマンス ベースでも容量ベースでも、高いパフォーマンス、高い信頼性、および高いリソース使用率を同時に実現することはできません。

一方、サーバーレス アプリケーションに代表される新しい分散アプリケーションの台頭が触媒として機能し、ビジネス データへの共有アクセスの需要が加速し、ストレージとコンピューティングの分離アーキテクチャがユーザーの注目を集めるようになりました。

たとえば、分散データベースなどのアプリケーションは、コンテナ化されたデプロイメントとアプリケーションに移行しています。ストレージとコンピューティングの融合アーキテクチャでは、CPU、メモリ、ストレージ容量/IOPS/帯域幅、ネットワーク IO/帯域幅など、7 つの側面で新しい分散アプリケーションのニーズを満たすことが困難です。業界のクラウド データベース企業の中には、ストレージとコンピューティングのさらなる分離を推進し始め、コンピューティング ノードによって処理されるキャッシュ レイヤーとログ機能を共有ストレージに移行して、より高いパフォーマンスとリソース使用率を実現し始めているところもあります。

諺にあるように、新しいものが来る前に古いものは消え去らない。ビジネスシナリオやハードウェア技術の急速な発展など、さまざまな要因によって、新しいストレージとコンピューティングの分離アーキテクチャが急速に登場し、近年インフラストラクチャ分野で最大のホットスポットとなっています。それで、この「新人」はその任務を遂行できるのでしょうか?

新しいストレージとコンピューティングの分離アーキテクチャの何が新しいのでしょうか?

Shu Jiwu教授は論文の中で、高性能ディスクフレーム、新しいNVMe/CXLプロトコル、専用データプロセッサ（DPUなど）、新しいRDMA/NoFネットワーク技術などのハードウェアの急速な発展が、新しいストレージとコンピューティングの分離アーキテクチャの基礎を築いたと指摘しました。従来のストレージとコンピューティングの分離アーキテクチャと比較して、新しいストレージとコンピューティングの分離アーキテクチャには、ディスクレス サーバー、多様なネットワーク プロトコル、特殊なデータ プロセッサ、非常に高いストレージ密度を備えたストレージ システムなど、より多くの新しい機能があります。

では、古いアーキテクチャと新しいアーキテクチャの違いは何でしょうか?

1 つ目は、アーキテクチャ処理ロジックの根本的な変更です。新しいストレージとコンピューティングを分離するアーキテクチャの登場により、汎用 CPU 中心の処理ロジックからデータ中心の処理ロジックへの移行が加速しています。これは、サーバーなどのコンピューティング デバイスが徐々にディスクレスに移行し、コンピューティング タスクに重点を置くようになることも意味します。専用のデータプロセッサとストレージシステムはより重要なタスクを担うようになり、その価値と役割はさらに顕著になるでしょう。

たとえば、多数の DPU 製品の出現はその最良の証拠です。 DPU は、データ ストレージや専用データ プロセッサへのアクセスなどの多数の操作をオフロードし、サーバーの計算能力を解放して、アーキテクチャ全体のエネルギー効率を向上させます。

サーバーのローカル ディスクを置き換えるのは、ディスクレス アーキテクチャ向けのストレージ システムです。近年では、Western Digital の OpenFlex、Vast Data Ceres 高性能ディスク フレーム、Huawei の OceanStor Micro マイクロ ストレージなどが、新しいストレージとコンピューティングの分離アーキテクチャに基づく代表的なストレージ システムとなっています。

第二に、新しいストレージとコンピューティングの分離アーキテクチャはアーキテクチャ内で完全に分離されており、CPU と外部メモリの分離に限定されません。これにより、さまざまなストレージおよびコンピューティング ハードウェア リソースの境界が完全に打ち破られ、さまざまな独立したハードウェア リソース プールが形成され、さまざまなハードウェアの独立した拡張と柔軟な適用が実現します。

この完全な分離は、レゴブロックを組み立てるようなものです。各コンポーネントは互いに高度に独立していますが、柔軟に組み合わせることができます。クラウド、インターネット、AIなど、弾力性が強く変化の多いビジネスの特性に合わせて柔軟に組み合わせ、タイムリーに対応できます。

分業はより細かい粒度で処理され、各コンポーネントがプロフェッショナルが専門的な仕事をするのと同じように独自の役割を遂行し、各コンポーネントの能力が最大限に発揮されます。

もちろん、分離後は各ハードウェア コンポーネントは完全に独立し、柔軟に組み合わせることができるようになります。つまり、コンポーネント間の連携は、新しいストレージとコンピューティングの分離アーキテクチャが取り組むべき課題でもあります。この点に関して、シュ・ジウ教授は論文の中で、シナリオベースのデータ削減、高スループットのハイパーコンバージドネットワーク、ネットワークとストレージの連携、ディスクとコアの連携などの主要技術が、新しいストレージとコンピューティングの分離アーキテクチャの開発に不可欠であると指摘しました。

ストレージとコンピューティングの分離の将来に注目すべき点

現在、DPU、インテリジェント ディスク フレーム、CXL/NoF などのネットワークは急速な発展を遂げ、新しいストレージとコンピューティングの分離アーキテクチャの実装を推進しています。 Shu Jiwu 教授は論文の中で、クラウドとインターネットのシナリオ向けの新しいストレージとコンピューティングの分離アーキテクチャは、将来のデータセンターにおけるコンポーザブル インフラストラクチャのトレンドに適合しているが、テクノロジー、エコロジーなどの面で課題にも直面していると考えています。

具体的には、Shu Jiwu 教授は、コンピューティングとストレージ間のデータ アクセス インターフェイスと標準では、主にブロック ストレージ セマンティクスが使用されると考えています。将来、異機種コンピューティング能力が急速に発展する中で、メモリアクセスセマンティクス、コンピューティングコラボレーションセマンティクスなどは不十分であり、業界が共同で検討し解決する必要があります。

さらに、新しいストレージとコンピューティングの分離アーキテクチャは、これまで以上に優れたインフラストラクチャ機能を提供しますが、その可能性をどのように実現するかは依然としてアプリケーション サービスに依存します。車の場合と同じように、新しいストレージとコンピューティングの分離アーキテクチャは優れたエンジンとシャーシのようなもので、アプリケーション サービス フレームワークはギアボックスです。ギアボックスが時代の変化に対応できなければ、車がエンジンの性能を生かすことは難しくなります。シュ・ジウ教授は、より効率的なアプリケーションサービスフレームワークを設計し、上位アプリケーションとの完璧な連携を実現することは、エコシステムパートナーの共同の努力を必要とする長いプロセスであると指摘した。

技術的および環境的な課題はあるものの、新しいストレージとコンピューティングの分離アーキテクチャはすでに止められないものとなっています。今後10年間、中国のデジタル経済は力強く発展し、データ要素が最も重要な生産要素となるだろう。統合型ビッグデータセンターやインテリジェントコンピューティングセンターに代表される新たなインフラの構築が今後も続くでしょう。コンピューティング能力の急速な成長という一般的な傾向の下、柔軟なアーキテクチャ、洗練されたリソース利用、グリーンで低炭素のエネルギー消費率などの利点により、新しいストレージとコンピューティングの分離は、クラウドサービスプロバイダー、通信事業者、金融などの業界で広く使用されることが期待されています。