コンテナ クラウドで分散ストレージを使用する場合、HDFS、CEPH、GFS、GPFS、Swift などのどれが適していますか?

[[268507]]

コンテナ クラウドで分散ストレージを使用する場合、HDFS、CEPH、GFS、GPFS、Swift などのどれが適していますか?

【問題の説明】現在、同社はコンテナクラウド技術を選択しており、商用製品を導入する予定です。同社はHuawei、RANCHER、Alibabaなどの製品プロバイダーに連絡を取った。ここで、対応する分散ストレージをどのように一致させるかを理解する必要があります。 HDFS、CEPH、GFS、GPFS、Swift などの分散ストレージのうち、どれが優れていますか?主なシナリオは、コンテナストレージのアプリケーションログ、構成ファイル、非構造化データファイルなどです。引き続きガイドしてください。 (@yin986 ソフトウェア アーキテクト、保険)

@Steven99 ソフトウェア アーキテクト

ログ ファイルは時間の経過とともに非常に大きくなるため、ES の使用や HDF へのバックアップなど、保存と処理のための統合ログ センターを検討することをお勧めします。

通常、構成ファイルの量は問題にならないため、追加のストレージを必要とせずに、構成センターで集中的に管理することを検討できます。

非構造化データは通常、従来の NAS または分散オブジェクト ストレージを使用して保存できる多数のファイルです。もちろん、十分な資金があれば、優れたストレージを購入することもできます。ストレージのパフォーマンスは非常に重要であり、ビジネスの重要度に応じて異なるストレージを選択する必要があります。

@Garyy 保険システムエンジニア

コンテナ ストレージの永続性は、ステートフル データを使用するコンテナの使用シナリオにとって非常に重要です。したがって、テクノロジーを選択する際には、具体的なストレージ要件を明確にする必要があります。ストレージは、データの種類に応じて、ブロック ストレージ、オブジェクト ストレージ、ファイル ストレージに分けられます。従来の環境では、ブロック ストレージとファイル ストレージが依然として最も一般的に使用されています。 ITの高度化に伴い、オブジェクトストレージ（非構造化データ）の需要が高まっています。オブジェクト ストレージには、一部のキー値データを保存する場合に当然の利点があります。さらに、分散型、レプリカ/消去コーディング、および従来のストレージに匹敵するその他の機能により、ウォーム データ/コールド データ ストレージの唯一の選択肢となります。

HDFS/CEPH/GFS/GPFS/Swift などの分散ストレージはファイル ストレージに分かれており、CEPH は統合ストレージ、つまり統合ブロック/オブジェクト/ファイル ストレージです。 Swift はオブジェクト ストレージであり、現在は OpenStack のサブプロジェクトとなっています。

1. HDFS

Hadoop 分散ファイル システム (HDFS) は、市販のハードウェア上で実行するのに適した分散ファイル システムとして設計されています。既存の分散ファイルシステムと多くの共通点があります。しかし同時に、他の分散ファイルシステムとの違いも非常に明白です。 HDFS は、安価なマシンへの導入に適した、耐障害性が非常に高いシステムです。 HDFS は高スループットのデータ アクセスを提供でき、大規模なデータ セット上のアプリケーションに非常に適しています。 HDFS は、ファイル システム データをストリーミングするという目的を達成するために、いくつかの POSIX 制約を緩和します。

HDFS は耐障害性が高く、低コストのハードウェアに導入できるように設計されています。また、アプリケーション データにアクセスするための高いスループットを提供するため、大規模なデータ セットを持つアプリケーションに適しています。 HDFS は POSIX 要件を緩和し、ファイル システム内のデータへのストリーミング アクセスを実現します。

2.地球環境

GFS は、大量のデータにアクセスする大規模な分散アプリケーション向けのスケーラブルな分散ファイル システムです。安価な汎用ハードウェア上で実行され、フォールト トレランスを提供します。多数のユーザーに対して、総合的にパフォーマンスの高いサービスを提供できます。

3. GPFS

GPFS (General Parallel File System、GPFS) は、IBM SP システムで使用される仮想共有ディスク テクノロジ (VSD) から生まれた IBM 初の共有ファイル システムです。このテクノロジーの中核となる GPFS は、リソース グループ内のすべてのノードがファイル システム全体に並列にアクセスできるようにする並列ディスク ファイル システムです。このファイル システムに対するサービス操作は、このファイル システムを同時に使用する複数のノード上で安全に実装できます。 GPFS を使用すると、クライアントは異なるノード上の異なるハードディスクに分散されているファイルを共有できます。多くの標準的な UNIX ファイル システム インターフェイスが提供されており、変更や再コンパイルなしでアプリケーションを実行できます。

4.セファロス

Ceph は、信頼性が高く、自動的に再バランス調整され、自動的に回復される分散ストレージ システムです。シナリオ区分に応じて、Ceph はオブジェクト ストレージ、ブロック デバイス ストレージ、ファイル システム サービスという 3 つの主要部分に分けられます。仮想化の分野では、Ceph のブロック デバイス ストレージがより一般的に使用されています。たとえば、OpenStack プロジェクトでは、Ceph のブロック デバイス ストレージを OpenStack の cinder バックエンド ストレージ、Glance のイメージ ストレージ、仮想マシン データ ストレージに接続できます。より直感的に言えば、Ceph クラスターは、仮想マシン インスタンスのハード ディスクとして生のブロック ストレージを提供できます。

Ceph が他のストレージ システムよりも優れている点は、単なるストレージではなく、ストレージ ノードの計算能力を最大限に活用できることです。各データを保存するときに、データが格納されている場所を計算し、データを均等に分散しようとします。同時に、Ceph は優れた設計により、CRUSH アルゴリズム、HASH リングなどの方法を採用しているため、従来の単一障害点の問題がなく、規模が拡大してもパフォーマンスに影響はありません。

5.スウィフト

Swift は、もともと Rackspace によって開発された、可用性の高い分散オブジェクト ストレージ サービスです。これは、2010 年に OpenStack オープンソース コミュニティに初期のコア サブプロジェクトの 1 つとして提供され、Nova サブプロジェクトに仮想マシン イメージ ストレージ サービスを提供しました。 Swift は、比較的安価な標準ハードウェア ストレージ インフラストラクチャ上に構築されています。 RAID (ディスク冗長アレイ) は必要ありません。ソフトウェア レベルで一貫性のあるハッシュ テクノロジとデータ冗長性を導入し、ある程度のデータ一貫性を犠牲にして高い可用性とスケーラビリティを実現します。マルチテナント モード、コンテナーおよびオブジェクトの読み取りおよび書き込み操作をサポートし、インターネット アプリケーション シナリオにおける非構造化データ ストレージの問題を解決するのに適しています。