Ceph分散ストレージについて学びましょう

序文

最近、Kubernetes を学習しながら、ポッドデータの永続化を実現したいと考えています。調査の過程で、Ceph は近年急速に発展しており、企業で導入されている事例も多数あることがわかりました。選択に関しては、コミュニティで人気のあるプロジェクトを好みます。 GlusterFS と Ceph はどちらも検討範囲内ですが、GlusterFS はオブジェクト ストレージとファイル システム ストレージのみを提供するのに対し、Ceph はオブジェクト ストレージ、ブロック ストレージ、ファイル システム ストレージを提供します。新しいものへの憧れから、私は Ceph ブロック ストレージを実装し、Kubernetes に接続してポッド データの永続性を実現するために、Ceph を決定的に選択しました。

[[218717]]

1. 初期 Ceph

1.1 ブロック ストレージ/オブジェクト ストレージ/ファイル システム ストレージとは何かを理解していますか?

早速本題に入りましょう。 Ceph は現在、オブジェクト ストレージ (RADOSGW)、ブロック ストレージ RDB、CephFS ファイル システムの 3 つの機能を提供しています。 3 つの機能は次のように紹介されています。

1. オブジェクト ストレージ。これは、通常の意味でのキー値ストレージです。インターフェースはシンプルな GET、PUT、DEL およびその他の拡張機能です。主な代表例としては、Swift、S3、Gluster があります。

2. ブロックストレージ。このインターフェースは通常、QEMUDriver または KernelModule の形式で存在します。このインターフェースは、Sheepdog、AWS の EBS、QingCloud のクラウド ハードディスク、Alibaba Cloud の Pangu システムなどの Linux BlockDevice インターフェースまたは QEMU によって提供される BlockDriver インターフェース、および Ceph の RBD (RBD は Ceph のブロック ストレージ インターフェース) を実装する必要があります。一般的なストレージの中で、DAS と SAN もブロック ストレージを提供します。

3. ファイル ストレージは通常、POSIX インターフェイスをサポートすることを意味します。これは、Ext4 などの従来のファイルシステムと同じタイプですが、分散ストレージが Ceph の CephFS (CephFS は Ceph のファイルストレージ用インターフェース) などの並列化機能を提供する点が異なります。ただし、GlusterFS や HDFS などの非 POSIX インターフェース ベースのファイル ストレージ インターフェースもこのカテゴリに分類されることがあります。もちろん、NFS と NAS もファイル システム ストレージに属します。

1.2 Ceph コンポーネントの紹介

次の図から Ceph アーキテクチャ コンポーネントを簡単に見てみましょう。 (ヒント: これは勉強しながら描いたものです。何か問題が見つかった場合はメッセージを残してください。批判しないでください。)

モニターは、クラスター全体の動作状態を監視する役割を担います。情報は、各ノードのステータスやクラスター構成情報など、クラスター メンバーを管理するデーモンによって提供されます。 Cephmonitormap には主に OSDmap、PGmap、MDSmap、CRUSH などが含まれます。これらのマップは総称してクラスター マップと呼ばれます。 cephmonitor はデータを保存しません。これらのマップの機能は次のとおりです。

• Monitormap: Ceph クラスター ID、監視ホスト名と IP、ポートなど、監視ノードに関するエンドツーエンドの情報が含まれます。また、現在のバージョン情報や最新の変更情報も保存されており、「cephmondump」を通じてモニターマップを閲覧することができます。
• OSDmap: クラスター ID、OSDmap 作成のバージョン情報、最終変更情報などのよく使用される情報のほか、プール名、プール ID、タイプ、レプリカ数、PGP など主にプール関連の情報、数量、ステータス、重み、最新のクリーニング間隔、OSD ホスト情報などが含まれます。表示するには「cephosddump」コマンドを使用します。
• PGmap: 現在の PG バージョン、タイムスタンプ、最新の OSDMap バージョン情報、スペース使用率、およびほぼ満杯の比率情報が含まれます。同時に、各 PGID、オブジェクト数、ステータス、OSD ステータス、ディープ クリーニングに関する詳細情報も含まれます。関連するステータスは、コマンド「cephpgdump」で確認できます。
• CRUSHmap: CRUSHmap には、クラスター ストレージ デバイス情報、障害ドメイン階層、およびデータを保存するときに定義された障害ドメイン ルール情報が含まれます。表示するには、コマンド「cephosdcrushmap」を使用します。
• MDSmap: MDSMap には、現在の MDSmap のバージョン情報、現在のマップの作成情報、変更時刻、データとメタデータの POOLID、クラスター MDS の数、および MDS ステータスが含まれており、「cephmdsdump」を通じて表示できます。

OSD、CephOSD は、物理ディスク ドライブ、その上の Linux ファイル システム、および CephOSD サービスで構成されます。 CephOSD は、クラスター内の各ノードの物理ディスク上にオブジェクトの形式でデータを保存します。データを保存する作業のほとんどは、OSDdaemon プロセスによって実行されます。 CephOSD を構築するときは、SSD ディスクと xfs ファイル システムを使用してパーティションをフォーマットすることをお勧めします。 BTRFS はパフォーマンスが優れていますが、現時点では本番環境での使用は推奨されません。しばらく様子を見ることをお勧めします。

Ceph メタデータ、MDS。 Ceph ブロック デバイスと RDB には MDS は必要ありません。MDS は CephFS のみをサポートします。

RADOS、ReliableAutonomicDistributedObjectStore。 RADOS は Ceph ストレージ クラスターの基盤です。 Ceph では、すべてのデータはオブジェクトの形式で保存され、RADOS オブジェクト ストレージはデータの種類に関係なくこれらのオブジェクトを保存する役割を担います。 RADOS レイヤーは、データの一貫性が常に保たれることを保証します。

librados（librados ライブラリ）は、アプリケーションへのアクセス インターフェイスを提供します。また、ブロック ストレージ、オブジェクト ストレージ、ファイル システム用のネイティブ インターフェイスも提供します。

ADOS ブロック デバイスはシンプロビジョニングされ、サイズ変更可能であり、複数の OSD にわたってデータを格納します。

ゲートウェイ インターフェイスである RADOSGW は、オブジェクト ストレージ サービスを提供します。 librgw と librados を使用して、アプリケーションが Ceph オブジェクト ストレージに接続できるようにします。また、S3 および Swift 互換の RESTful API インターフェースを提供します。

CephFS (Ceph ファイル システム) は、librados に基づくネイティブ インターフェイスをカプセル化する POSIX 互換のファイル システムです。

データストレージの分散選択アルゴリズムを表す CRUSH (Controlled Replication Under Scalable Hashing) について簡単に説明します。 Ceph の高パフォーマンス/高可用性は、このアルゴリズムを使用して実現されます。 CRUSH アルゴリズムは、クライアント要求ごとにメタデータ テーブルを検索する代わりに、システム内でデータの書き込み先または読み取り元となる場所を計算します。 CRUSH はインフラストラクチャを認識し、インフラストラクチャのさまざまなコンポーネント間の関係を理解できます。また、CRUSH はデータの複数のコピーを保存するため、障害ドメインの複数のコンポーネントに障害が発生しても、データは引き続き利用できます。 CRUSH により、Ceph は自己管理と自己修復を実現できます。

従来の分散ストレージと比較した RADOS 分散ストレージの利点は次のとおりです。

1. ファイルをオブジェクトにマッピングした後、ClusterMap を使用して、テーブル検索ではなく CRUSH 計算によってストレージ デバイス上のファイル データが保存されている特定の場所を見つけます。従来のファイルからブロックへのマッピングと BlockMAp 管理が最適化されています。

2.RADOS は OSD のインテリジェントな機能を最大限に活用し、一部のタスクを OSD に委任して、最大限のスケーラビリティを実現します。

2. Cephをインストールする

2.1 環境整備

##環境説明

ホストIP機能

セフノード01192.168.58.128 デプロイ、mon*1、osd*3

セフノード02192.168.58.129 mon*1、osd*3

セフノード03192.168.58.130 mon*1、osd*3

##yumソースを準備する

cd /etc/yum.repos.d/ && sudo mkdir bak
 sudo mv *.repo をバックアップします。
 sudo wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
 sudo wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
 sudo sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo
 sudo sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo
 sudo sed -i 's/$releasever/7/g' /etc/yum.repos.d/CentOS-Base.repo

##Cephソースを追加

sudo cat <<EOF > /etc/yum.repos.d/ceph.repo
 【セフ】
 name = x86_64用のCeph パッケージ
ベースURL=https://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/
有効=1
 gpgcheck=1
タイプ=rpm-md
 gpgkey=https : //mirrors.aliyun.com/ceph/keys/release.asc です。   
  
 [セフノアーチ]
 name =Ceph noarch パッケージ
ベースURL=https://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/
有効=1
 gpgcheck=1
タイプ=rpm-md
 gpgkey=https : //mirrors.aliyun.com/ceph/keys/release.asc です。   
  
 [cephソース]
 name =Ceph ソースパッケージ
ベースURL=https://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS/
有効=1
 gpgcheck=1
タイプ=rpm-md
 gpgkey=https : //mirrors.aliyun.com/ceph/keys/release.asc です。  
終了

##キーフリーの設定（省略）

ヒント: 通常のユーザーを使用してインストールする場合は、次のようにしてユーザーに関連する権限を付与してください。

a. yangsheng ユーザーを sudo 権限に追加します (yangshengALL=(ALL)NOPASSWD:ALL)

b. /etc/sudoers の「Defaultsrequiretty」をコメントアウトします。

2.2 インストールを開始する

##デプロイメントツールをインストールします（192.168.58.128で次の操作を実行します）

 yum メイクキャッシュ
yum -y ceph-deployをインストールします
  
 ceph-deploy --version  
 1.5.39

##モニターを初期化する

mkdir ceph-cluster && cd ceph-cluster
 ceph-deploy 新しい ceph-node01 ceph-node02 ceph-node03

独自の IP 構成に応じて ceph.conf に public_network を追加し、mons 間の時間差の許容範囲をわずかに増やします (デフォルトは 0.05 秒ですが、現在は 2 秒に変更されています)。

 #デフォルトのレプリカ 3を2に変更
osd プールのデフォルト サイズ= 2 
  
パブリックネットワーク = 192.168.58.0/24
クラスターネットワーク = 192.168.58.0/24

##ceph をインストールする

ceph-deployinstallceph-node01ceph-node02ceph-node03

##モニターのデプロイを開始する

ceph-deploymoncreate -初期
  
 [root@ceph-node01 ceph]# ls
 ceph.bootstrap-mds.keyring ceph.bootstrap-osd.keyring ceph.client.admin.keyring ceph-deploy-ceph.log rbdmap
 ceph.bootstrap-mgr.keyring ceph.bootstrap-rgw.keyring ceph.conf ceph.mon.keyring

クラスターのステータスを確認する

[root@ceph-node01 ceph]# ceph -s
    クラスター b5108a6c-7e3d-4295-88fa-88dc825be3ba
     健康 HEALTH_ERR
 OSDなし
     monmap e1: {ceph-node01=192.168.58.128:6789/0、ceph-node02=192.168.58.129:6789/0、ceph-node03=192.168.58.130:6789/0}で3 mons
            選出エポック 6、クォーラム 0、1、2 ceph-node01、ceph-node02、ceph-node03
     osdmap e1: 0 osds: 0 アップ、0イン 
            フラグはビット単位でソートし、require_jewel_osds を使用します
      pgmap v2: 64 ページ、1 プール、0 バイト データ、0 オブジェクト
            使用済み 0 kB、使用可能 0 kB / 0 kB
                  64 作成中

ヒント: モニターが正常に作成されたら、クラスターのステータスを確認します。現時点では、クラスターの状態は正常ではありません。

##OSDの展開を開始する

### ノードのすべてのディスク情報を一覧表示します
ceph-deploy ディスクリスト ceph-node01 ceph-node02 ceph-node03 
  
 ### ディスクのパーティションと内容を消去する
ceph-deploy ディスクを ceph-node01:sdb および ceph-node02:sdb にコピーします。ceph-node03:sdb にコピーします。 
  
 ### パーティションのフォーマットとアクティベーション
ceph-deploy osd はceph-node01:sdb と ceph-node02:sdb と ceph-node03:sdbを作成します。
 ceph-deploy osd をアクティブ化します。ceph-node01:sdb、ceph-node02:sdb、ceph-node03:sdb

この時点で、クラスタの状態を再度確認します

[root@ceph-node01 ceph-cluster]# ceph -s
    クラスター 86fb7c8b-9ad1-4eaf-a24c-0d2d9f36ab29
     健康 HEALTH_OK
     monmap e2: {ceph-node01=192.168.58.128:6789/0、ceph-node02=192.168.58.129:6789/0、ceph-node03=192.168.58.130:6789/0}で3 mons
            選出エポック 6、クォーラム 0、1、2 ceph-node01、ceph-node02、ceph-node03
     osdmap e15: 3 osds: 3 アップ、3イン 
            フラグはビット単位でソートし、require_jewel_osds を使用します
      pgmap v32: 64 ページ、1 プール、0 バイト データ、0 オブジェクト
            使用済み 100 MB、使用可能 45946 MB / 46046 MB
                  64 アクティブ+クリーン

2.3 環境をきれいにする

以前のデプロイメントが失敗した場合は、ceph クライアントを削除したり、仮想マシンを再構築したりする必要はありません。 Ceph クライアントをインストールした直後の状態に環境をクリーンアップするには、各ノードで次の手順を実行するだけです。古いクラスター上に構築する前に環境をクリーンアップすることを強くお勧めします。そうしないと、さまざまな異常な状況が発生する可能性があります。

 sudo ps aux|grep ceph | grep -v "grep" | awk '{print $2}' |xargs kill -9
 sudo ps -ef | grep セフ
  
 sudo umount /var/lib/ceph/osd/*
 sudo rm -rf /var/lib/ceph/osd/*
 sudo rm -rf /var/lib/ceph/mon/*
 sudo rm -rf /var/lib/ceph/mds/*
 sudo rm -rf /var/lib/ceph/bootstrap-mds/*
 sudo rm -rf /var/lib/ceph/bootstrap-osd/*
 sudo rm -rf /var/lib/ceph/bootstrap-rgw/*
 sudo rm -rf /var/lib/ceph/tmp/*
 sudo rm -rf /etc/ceph/*
 sudo rm -rf /var/run/ceph/*

3. クライアントを構成する

3.1 クライアントをインストールする

sshコピーID 192.168.58.131
 ceph-deploy インストール 192.168.58.131

Ceph 設定ファイルを 192.168.58.131 にコピーします。

 ceph-deploy 設定を 192.168.58.131 にプッシュします

3.2 新しいユーザーキーを作成する

クライアントが Ceph クラスターにアクセスするには、Ceph キーが必要です。 Ceph は、Ceph クラスターにアクセスするための十分な権限を持つデフォルトのユーザー client.admin を作成します。ただし、client.admin を他のすべてのクライアント ノードと共有することはお勧めしません。ここでは、特定のストレージ プールにアクセスするための別のキーを持つ新しいユーザー (client.rdb) を作成します。

 cephauthget-または-createclient.rbdmon 'allowr' osd 'allowclass-readobject_prefixrbd_children,allowrwxpool=rbd'  

192.168.58.131 の client.rbd ユーザーのキーを追加します。

 cephauthget-または-createclient.rbd|ssh192.168.58.131tee/etc/ceph/ceph.client.rbd.keyring

クライアント（192.168.58.131）にアクセスして、クラスタのヘルスステータスを確認します。

 [root@localhost ~]# cat /etc/ceph/ceph.client.rbd.keyring >> /etc/ceph/keyring
 [root@localhost ~]# ceph -s --name client.rbd  
    クラスター 86fb7c8b-9ad1-4eaf-a24c-0d2d9f36ab29
     健康 HEALTH_OK
     monmap e2: {ceph-node01=192.168.58.128:6789/0、ceph-node02=192.168.58.129:6789/0、ceph-node03=192.168.58.130:6789/0}で3 mons
            選出エポック 6、クォーラム 0、1、2 ceph-node01、ceph-node02、ceph-node03
     osdmap e15: 3 osds: 3 アップ、3イン 
            フラグはビット単位でソートし、require_jewel_osds を使用します
      pgmap v32: 64 ページ、1 プール、0 バイト データ、0 オブジェクト
            使用済み 100 MB、使用可能 45946 MB / 46046 MB
                  64 アクティブ+クリーン

3.3 ブロックデバイスを作成する

rbd create foo --size 4096 --name client.rbd # サイズが 4096MB の RADOS ブロックデバイスを作成します 
 rbd create rbd01 --size 10240 --name client.rbd # サイズが 10240MB の RADOS ブロックデバイスを作成します 

ブロックデバイスのマッピング

[root@localhost ceph]# rbd create rbd02 --size 10240 --image-feature layering --name client.rbd  
 [root@localhost ceph]# rbd map --image rbd02 --name client.rbd /dev/rdb02  
 /dev/rbd0

ヒント: ブロック デバイスのマッピング時に次のエラーが発生しました。

 [root@localhost ceph]# rbd map --image rbd01 --name client.rbd /dev/rdb01  
 rbd: sysfs 書き込みに失敗しました
RBD イメージ機能セットが一致しません。カーネルでサポートされていない機能を無効にするには、   「rbd 機能を無効にする」 。
で 場合によっては、syslogで役立つ情報が見つかることがあります- 「dmesg | tail」を試してください あるいはそのくらい。
 rbd: マップ失敗: (6)そのようなデバイスまたはアドレスはありません

この問題を解決するには、次のようにいくつかの方法があります。

1. 作成プロセス中に次のパラメータ「--image-featurelayering」を追加しても問題は解決します。

2. 以下に示すように、関連するパラメータを手動で無効にします。

 rbdfeaturedisablefoo排他ロック、オブジェクトマップ、高速差分、ディープフラット化

3. 各 Ceph ノードの設定ファイルに設定項目「rbd_default_features=1」を追加します。

3.4 マップされたブロックデバイスを確認する

[root@localhost ceph]# rbd showmapped --name client.rbd  
 ID プール イメージ スナップ デバイス
0 rbd rbd02 - /dev/rbd0

デバイスを作成してマウントする

fdisk -l /dev/rbd0
 mkfs.xfs /dev/rbd0
 mkdir /mnt/ceph-disk1
 /dev/rbd1 /mnt/ceph-disk1 をマウントします。

確認する

[root@localhost ceph]# df -h /mnt/ceph-disk1/
ファイルシステムの使用済み容量 使用可能使用済み % マウントポイント
/dev/rbd0 10G 33M 10G 1% /mnt/ceph-disk1

ceph ブロックデバイスが作成されます。