Springboot は Baidu のオープンソース分散 ID ジェネレータ UIDGenerator を統合します

[[411081]]

環境: sprinboot2.3.12.RELEASE + uid-generator1.0.0

導入

UidGenerator は、Java で実装され、Snowflake アルゴリズムに基づいた一意の ID ジェネレーターです。 UidGenerator は、アプリケーションプロジェクト内でコンポーネントとして動作し、カスタムの workerId 数字と初期化戦略をサポートし、Docker などの仮想化環境での自動インスタンス再起動やドリフトなどのシナリオに適しています。実装の面では、UidGenerator は将来の時間を借用することでシーケンスの自然な並行性の制限を解決します。 RingBuffer は、生成された UID をキャッシュし、UID の生成と消費を並列化し、同時に CacheLine を埋めるために使用され、RingBuffer によって発生するハードウェアレベルの「誤った共有」問題を回避します。最終的には、単一マシンの QPS は 600 万に達します。

依存関係バージョン: Java 8 以上、MySQL (組み込みの WorkerID アロケータ、起動時に DB を通じて割り当てられます。カスタマイズされている場合、DB は必須の依存関係ではありません)

スノーフレークアルゴリズム

スノーフレークアルゴリズムの説明: 指定されたマシンと同時および特定の同時シーケンスは一意です。これに基づいて、64 ビットの一意の ID (long) を生成できます。デフォルトのバイト割り当て方法は上記のとおりです。

sign(1bit) 固定 1 ビットの符号識別子。つまり、生成される UID は正の数です。
デルタ秒（28ビット）現在の時刻は、タイムベースポイント「2016-05-20」を基準として秒単位で表され、最大約8.7年までサポートできます。
ワーカー ID (22 ビット) マシン ID。最大約 420 万台のマシン起動をサポートできます。組み込み実装は、起動時にデータベースによって割り当てられます。デフォルトの割り当て戦略は「使用して忘れる」であり、再利用戦略は後で提供できます。
シーケンス (13 ビット) 1 秒あたりの同時接続数。 13 ビットでは、1 秒あたり 8192 の同時接続をサポートできます。

上記のパラメータはSpringを通じてカスタマイズできます。

キャッシュされたUidジェネレータ

RingBuffer は円形配列であり、配列の各要素がスロットになります。デフォルトでは、RingBuffer の容量は、Snowflake アルゴリズムのシーケンスの最大値、つまり 2^N です。 boostPower 構成を通じて容量を拡張し、RingBuffer の読み取りおよび書き込みスループットを向上させることができます。

テールポインターとカーソルポインターは、円形配列のスロットの読み取りと書き込みに使用されます。

テールポインターは、プロデューサーによって生成された最大シーケンス番号を示します (このシーケンス番号は 0 から始まり、増加し続けます)。 Tail は Cursor を超えることはできません。つまり、プロデューサーは未使用のスロットを上書きできません。 Tailがcurosrに追いついたら、rejectedPutBufferHandlerを通じてPutRejectPolicyを指定できます。
カーソルポインターは、コンシューマーによって消費される最小のシーケンス番号を表します (シーケンス番号のシーケンスはプロデューサのシーケンスと同じです)。カーソルはテールを超えることはできません。つまり、未生成のスロットを消費することはできません。カーソルが末尾に追いついたら、rejectedTakeBufferHandlerを通じてTakeRejectPolicyを指定できます。

CachedUidGenerator はデュアルリングバッファを使用します。Uid-RingBuffer は Uid を保存するために使用され、Flag-RingBuffer は Uid ステータス (埋められるかどうか、消費できるかどうか) を保存するために使用されます。

配列要素はメモリ内に連続的に割り当てられるため、CPU キャッシュを最大限に活用してパフォーマンスを向上させることができます。しかし、それは「偽りの共有」の問題も引き起こすでしょう。このため、Tail、Cursor ポインター、Flag-RingBuffer では CacheLine パディング方式が使用されます。

リングバッファ充填時間

事前に入力された RingBuffer を初期化します。初期化すると、RingBuffer 全体が事前に入力されます。
テイク消費をリアルタイムで埋める際、残りの使用可能スロット（末尾 - カーソル）をリアルタイムで確認します。設定されたしきい値より少ない場合は、空きスロットを埋めます。しきい値は paddingFactor を通じて設定できます。クイックスタートの CachedUidGenerator 構成を参照してください。
空きスロットを定期的に埋めるために、スケジュールスレッドを通じて定期的な埋め合わせが行われます。 scheduleInterval を使用して、スケジュールされた充填機能を設定し、スケジュールの時間間隔を指定できます。

上記はBaiduの公式紹介です。次に、これを Springboot プロジェクトに統合します。

UIDGenerator ダウンロード

uid-generatorを次のアドレスからダウンロードしてください

UIDGenerator 環境設定

テーブルを作成

落とす テーブルが存在する場合、WORKER_NODE;
作成する テーブルWORKER_NODE
 （
  IDビッグイント ない  NULL AUTO_INCREMENT COMMENT '自動増分ID' ,
  HOST_NAME VARCHAR (64)なし  NULL COMMENT 'ホスト名' 、
  ポート・ヴァーチャー（ 64）   NULLコメント'ポート' 、
  タイプINT  ない  NULL COMMENT 'ノードタイプ: ACTUAL または CONTAINER' 、
  LAUNCH_DATE日付 ない  NULLコメント「発売日」 、
  変更されたタイムスタンプ ない  NULLコメント'更新時刻' 、
  作成日時 ない  NULLコメント「作成時刻」 、
主要な キー（ID）
 )COMMENT= 'UID ジェネレーターの DB WorkerID アサイナー' 、ENGINE = INNODB;

そのプロジェクト内のmapper.xmlファイルを、WorkerNodeEntity、WorkerNodeDAOに対応する自分のプロジェクトにコピーします。

DisposableWorkerIdAssigner が独自のプロジェクトにコピーされます。

DisposableWorkerIdAssigner は主に、注入された DAO を変更します。ここでは、デフォルトの DAO 関連の設定を変更する必要があるためです。

プロジェクト構成

頼る

 <依存関係>
  <グループID>mysql</グループID>
  <artifactId>mysql-コネクタ-java</artifactId>
  <scope>ランタイム</scope>
 </依存関係>
 <依存関係>
  <グループ ID>org.mybatis.spring.boot</グループ ID>
  <artifactId>mybatis-spring-boot-starter</artifactId>
  <バージョン>2.1.4</バージョン>
 </依存関係>
 <依存関係>
  <groupId>com.github.pagehelper</groupId>
  <artifactId>ページヘルパー-スプリングブートスターター</artifactId>
  <バージョン>1.3.0</バージョン>
 </依存関係>

mybatisの設定

ページヘルパー:
  ヘルパー方言: mysql
  合理的：本当 
  ページサイズゼロ: true  
  ページ番号としてオフセット: true  
  行境界カウント: true  
 ---  
マイバティス:
  タイプエイリアスパッケージ: com.pack.domain
  マッパーの場所:
  - クラスパス:/mappers/*.xml
  構成：
    遅延読み込みが有効: false  
    積極的な遅延読み込み: false

マッパーファイル内の名前空間と対応するドメインを独自のパスに変更します。

UIDGenerator の設定

@構成
パブリッククラスUIDConfig{ 
     
    @ビーン
パブリックDefaultUidGenerator defaultUidGenerator(DisposableWorkerIdAssigner disposableWorkerIdAssigner) {
        デフォルトのUidGenerator defaultUidGenerator = 新しい DefaultUidGenerator();
        デフォルトの UidGenerator.setWorkerIdAssigner(使い捨ての WorkerIdAssigner);
        デフォルトUidGenerator.setTimeBits(29);
        デフォルトUidGenerator.setWorkerBits(21);
        デフォルトUidGenerator.setSeqBits(13);
        デフォルトのUidGenerator.setEpochStr( "2021-01-01" );
 defaultUidGeneratorを返します。
    } 
 
 }

ご了承ください

DisposableWorkerIdAssigner は Baidu によって提供されるものではなく、独自のプロジェクトにコピーされます。

 @成分
パブリッククラス DisposableWorkerIdAssigner は WorkerIdAssigner を実装します {
  @リソース
  プライベート WorkerNodeMapper workerNodeDAO;
  // その他のコード
}

これですべての設定が完了しました。

テスト

@リソース
プライベート DefaultUidGenerator uidGenerator; 
     
 @テスト
パブリックボイドテストジェネレータID（）{
 ( int i = 0; i < 10; i++) {
    System.out .println (uidGenerator.getUID());
  }
 }