1. 概要Docker Compose を使用して Elasticsearch と Kibana を迅速にデプロイすると、ローカル環境または開発環境でログ データの保存と視覚化、監視、検索を行うためのこれら 2 つの重要なツールを簡単にセットアップおよび管理できるようになります。手順の概要は次のとおりです。 - Docker と Docker Compose を準備する: Docker と Docker Compose がインストールされていることを確認します。インストーラーは Docker の公式 Web サイトから入手できます。
- Docker Compose 構成ファイルを作成する: Elasticsearch と Kibana のコンテナ構成を定義する docker-compose.yml というファイルを作成します。このファイルには、サービス名、イメージ、環境変数、ポート マッピングなどの情報が含まれている必要があります。
- Elasticsearch を構成する: docker-compose.yml ファイルで、Elasticsearch コンテナを構成します。通常、ノード名、検出タイプなどの設定を指定する必要があります。 Elasticsearch イメージのコンテナ化されたバージョンを使用します。
- Kibana を構成する: docker-compose.yml ファイルで、Kibana コンテナを構成します。リッスンするポートを指定し、それが Elasticsearch サービスに依存していることを確認します。
- データ ボリュームの設定: docker-compose.yml ファイルでは、通常、データ ボリュームは Elasticsearch データを保存するために使用されます。これにより、データの永続性が保証されます。
- コンテナを起動します。ターミナルで、docker-compose.yml ファイルを含むディレクトリに移動し、次のコマンドを実行して Elasticsearch と Kibana を起動します。
docker-compose up -d # -d 选项用于在后台运行容器。 - サービスが起動するまで待機します。コンテナが起動したら、Elasticsearch と Kibana が完全に起動していることを確認するためにしばらく待ちます。
- Kibana コンソールにアクセスします。ブラウザを開き、Kibana コンソールのアドレス (デフォルトでは http://localhost:5601) にアクセスします。デフォルトでは、Kibana ではユーザー名とパスワードは必要ありません。
- 開始方法: Kibana コンソールを使用して、Elasticsearch のデータの管理と視覚化、クエリの実行、ダッシュボードの作成などを行うことができます。
これらの手順は、ログ分析、データの視覚化、検索のために Elasticsearch と Kibana を迅速にデプロイするのに役立ちます。必要に応じて、docker-compose.yml ファイルのバージョンと構成オプションを変更できることに注意してください。 Elasticsearch と Kibana の実行をサポートするためにシステム リソースが十分であることを確認してください。 写真 2. デプロイメントのオーケストレーションを開始する (Elasticsearch と Kibana) Elasticsearch は、もともと Elasticsearch NV (現在は Elastic NV) によって開発および保守されているオープンソースの分散検索および分析エンジンです。これは Apache Lucene 検索エンジン上に構築されており、大規模なデータの処理と分析に特化して設計されています。強力な全文検索、構造化データストレージ、分析、視覚化機能を提供します。 Elasticsearch の主な機能と用途の概要は次のとおりです。 - 分散型でリアルタイム: Elasticsearch は、大量のデータを処理するために数百台のサーバーに簡単に拡張できる分散システムです。リアルタイムの検索と分析を提供し、数ミリ秒以内にクエリに応答します。
- 全文検索: Elasticsearch は、大量のテキスト データを効率的に検索できる優れた全文検索機能で知られています。単語分割、あいまいクエリ、ワイルドカード検索、近似一致などの機能をサポートしています。
- 構造化データと非構造化データ: Elasticsearch は全文検索をサポートするだけでなく、JSON、XML などの構造化データを保存してインデックスを作成することもできます。これにより、ログやイベント データから製品カタログやセンサー データまで、さまざまな種類のデータを保存するのに最適です。
- 多様な用途: Elasticsearch は、検索エンジン、ログおよびイベント データ分析、パフォーマンス監視、セキュリティ情報およびイベント管理 (SIEM)、ドキュメント ストレージ、リアルタイム ダッシュボードおよび視覚化など、さまざまな目的に使用できます。
- RESTful API: Elasticsearch は、開発者が HTTP リクエストを通じてインデックス管理、検索、分析、集計などのさまざまな操作を実行できる、使いやすい RESTful API を提供します。
- 分析と集計: Elasticsearch は豊富な分析および集計機能を提供し、データから貴重な洞察を引き出すことができます。集計操作を実行し、グラフやダッシュボードを生成してデータを視覚化できます。
- プラグイン エコシステム: Elasticsearch には、監視、セキュリティ、レポートなどの機能をプラグインを通じて拡張できる豊富なプラグイン エコシステムがあります。
- セキュリティ: Elasticsearch は、認証、承認、トランスポート層暗号化、フィールドレベルのセキュリティなどのセキュリティ機能を提供し、不正アクセスからデータを保護します。
- 強力なコミュニティ サポート: Elasticsearch には広範なコミュニティ サポートがあり、学習と使用に役立つ豊富なドキュメント、チュートリアル、サードパーティ ツールが用意されています。
- 商用サポート: Elastic NV は、エンタープライズレベルのニーズを満たすために、Elasticsearch の商用サポートとマネージド サービスを提供しています。
要約すると、Elasticsearch は、全文検索からログ分析、データの視覚化まで、さまざまな目的に適した強力で多用途の検索および分析エンジンです。検索エンジン、電子商取引、ログ管理、セキュリティ情報およびイベント管理、科学研究など、さまざまな業界で広く使用されています。 写真 サービスレイアウト: サービス名/ホスト名
| 開いているポート
|
| ノード1
| 9200
| 1G
| ノード2
| 9201
| 1G
| ノード3
| 9202
| 1G
| キバナ
| 5601
| 無制限
|
1) Dockerをデプロイする# 安装yum-config-manager配置工具yum -y install yum-utils # 建议使用阿里云yum源：（推荐） #yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo # 安装docker-ce版本yum install -y docker-ce # 启动并开机启动systemctl enable --now docker docker --version
2) docker-composeをデプロイするcurl -SL https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose docker-compose --version
3) ネットワークを構築する# 创建docker network create bigdata # 查看docker network ls
4) マウントディレクトリを作成する#创建es 目录chmod 777 ./es/node-{1..3}/{config,data,log} chmod 777 ./es/plugins # 创建kibana的配置目录mkdir -p ./kibana/config #目录授权chmod 777 ./es/node-{1..3}/{config,data,log} chmod 777 ./es/plugins chmod 777 ./kibana/config
5) Linuxハンドルの数を変更する#查看当前最大句柄数sysctl -a | grep vm.max_map_count #修改句柄数vi /etc/sysctl.conf vm.max_map_count=262144 #临时生效，修改后需要重启才能生效，不想重启可以设置临时生效sysctl -w vm.max_map_count=262144
6) ハンドル数と最大スレッド数を変更する#修改后需要重新登录生效vi /etc/security/limits.conf # 添加以下内容* soft nofile 65535 * hard nofile 65535 * soft nproc 4096 * hard nproc 4096 # 重启服务，-h 立刻重启，默认间隔一段时间才会开始重启reboot -h now
7) IKトークナイザーを追加するGitHub ダウンロード アドレス: https://github.com/medcl/elasticsearch-analysis-ik/releases # 将下载的分词器复制到ES安装目录的plugins目录中并进行解压mkdir ./es/plugins/ik && cd ./es/plugins/ik wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.17.5/elasticsearch-analysis-ik-7.17.5.zip unzip elasticsearch-analysis-ik-7.17.5.zip 8) 設定ファイルを書く1. ノード1 ./es/node-1/config/elasticsearch.yml #集群名称cluster.name: elastic #当前该节点的名称node.name: node-1 #是不是有资格竞选主节点node.master: true #是否存储数据node.data: true #最大集群节点数node.max_local_storage_nodes: 3 #给当前节点自定义属性（可以省略） #node.attr.rack: r1 #数据存档位置path.data: /usr/share/elasticsearch/data #日志存放位置path.logs: /usr/share/elasticsearch/log #是否开启时锁定内存（默认为是） #bootstrap.memory_lock: true #设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址， #然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0 network.host: 0.0.0.0 #设置映射端口http.port: 9200 #内部节点之间沟通端口transport.tcp.port: 9300 #集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上discovery.seed_hosts: ["node-1","node-2","node-3"] #当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了， #其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者， #如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上cluster.initial_master_nodes: ["node-1","node-2","node-3"] #在群集完全重新启动后阻止初始恢复，直到启动N个节点#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用， gateway.recover_after_nodes: 2 #删除索引是是否需要显示其名称，默认为显示#action.destructive_requires_name: true # 禁用安全配置，否则查询的时候会提示警告xpack.security.enabled: false 2. ノード2 ./es/node-2/config/elasticsearch.yml #集群名称cluster.name: elastic #当前该节点的名称node.name: node-2 #是不是有资格竞选主节点node.master: true #是否存储数据node.data: true #最大集群节点数node.max_local_storage_nodes: 3 #给当前节点自定义属性（可以省略） #node.attr.rack: r1 #数据存档位置path.data: /usr/share/elasticsearch/data #日志存放位置path.logs: /usr/share/elasticsearch/log #是否开启时锁定内存（默认为是） #bootstrap.memory_lock: true #设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址， #然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0 network.host: 0.0.0.0 #设置映射端口http.port: 9200 #内部节点之间沟通端口transport.tcp.port: 9300 #集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上discovery.seed_hosts: ["node-1","node-2","node-3"] #当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了， #其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者， #如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上cluster.initial_master_nodes: ["node-1","node-2","node-3"] #在群集完全重新启动后阻止初始恢复，直到启动N个节点#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用， gateway.recover_after_nodes: 2 #删除索引是是否需要显示其名称，默认为显示#action.destructive_requires_name: true # 禁用安全配置，否则查询的时候会提示警告xpack.security.enabled: false 3. ノード3 ./es/node-3/config/elasticsearch.yml #集群名称cluster.name: elastic #当前该节点的名称node.name: node-3 #是不是有资格竞选主节点node.master: true #是否存储数据node.data: true #最大集群节点数node.max_local_storage_nodes: 3 #给当前节点自定义属性（可以省略） #node.attr.rack: r1 #数据存档位置path.data: /usr/share/elasticsearch/data #日志存放位置path.logs: /usr/share/elasticsearch/log #是否开启时锁定内存（默认为是） #bootstrap.memory_lock: true #设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址， #然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0 network.host: 0.0.0.0 #设置映射端口http.port: 9200 #内部节点之间沟通端口transport.tcp.port: 9300 #集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上discovery.seed_hosts: ["node-1","node-2","node-3"] #当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了， #其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者， #如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上cluster.initial_master_nodes: ["node-1","node-2","node-3"] #在群集完全重新启动后阻止初始恢复，直到启动N个节点#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用， gateway.recover_after_nodes: 2 #删除索引是是否需要显示其名称，默认为显示#action.destructive_requires_name: true # 禁用安全配置，否则查询的时候会提示警告xpack.security.enabled: false 4. キバナ./kibana/config/kibana.yml server.host: 0.0.0.0 # 监听端口server.port: 5601 server.name: "kibana" # kibana访问es服务器的URL,就可以有多个，以逗号","隔开elasticsearch.hosts: ["http://node-1:9200","http://node-2:9201","http://node-3:9202"] monitoring.ui.container.elasticsearch.enabled: true # kibana访问Elasticsearch的账号与密码(如果ElasticSearch设置了的话) elasticsearch.username: "kibana" elasticsearch.password: "12345" # kibana日志文件存储路径logging.dest: stdout # 此值为true时，禁止所有日志记录输出logging.silent: false # 此值为true时，禁止除错误消息之外的所有日志记录输出logging.quiet: false # 此值为true时，记录所有事件，包括系统使用信息和所有请求logging.verbose: false ops.interval: 5000 # kibana web语言i18n.locale: "zh-CN" 9) イメージを構築するここでは、他の人が構築した優れたイメージを使用し、イメージを繰り返し構築することはありません。画像の作成方法が分からない場合は、私にプライベートメッセージを送ってください。 ### ES docker pull elasticsearch:7.17.5 # tag docker tag docker.io/library/elasticsearch:7.17.5 registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5 # 登录将镜像推送到阿里云docker push registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5 ### kibana docker pull docker.io/library/kibana:7.17.5 docker tag docker.io/library/kibana:7.17.5 registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5 docker push registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5 10) docker-compose.yml をオーケストレーションするversion: "3" services: node-1: image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5 container_name: node-1 hostname: node-1 environment: - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m" - "TZ=Asia/Shanghai" ulimits: memlock: soft: -1 hard: -1 nofile: soft: 65536 hard: 65536 ports: - "9200:9200" logging: driver: "json-file" options: max-size: "50m" volumes: - ./es/node-1/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./es/plugins:/usr/share/elasticsearch/plugins - ./es/node-1/data:/usr/share/elasticsearch/data - ./es/node-1/log:/usr/share/elasticsearch/log networks: - bigdata healthcheck: test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"] interval: 10s timeout: 10s retries: 5 node-2: image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5 container_name: node-2 hostname: node-2 environment: - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m" - "TZ=Asia/Shanghai" ulimits: memlock: soft: -1 hard: -1 nofile: soft: 65536 hard: 65536 ports: - "9201:9200" logging: driver: "json-file" options: max-size: "50m" volumes: - ./es/node-2/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./es/plugins:/usr/share/elasticsearch/plugins - ./es/node-2/data:/usr/share/elasticsearch/data - ./es/node-2/log:/usr/share/elasticsearch/log networks: - bigdata healthcheck: test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"] interval: 10s timeout: 10s retries: 5 node-3: image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5 container_name: node-3 hostname: node-3 environment: - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m" - "TZ=Asia/Shanghai" ulimits: memlock: soft: -1 hard: -1 nofile: soft: 65536 hard: 65536 ports: - "9202:9200" logging: driver: "json-file" options: max-size: "50m" volumes: - ./es/node-3/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./es/plugins:/usr/share/elasticsearch/plugins - ./es/node-3/data:/usr/share/elasticsearch/data - ./es/node-3/log:/usr/share/elasticsearch/log networks: - bigdata healthcheck: test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"] interval: 10s timeout: 10s retries: 5 kibana: container_name: kibana hostname: kibana image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5 environment: TZ: 'Asia/Shanghai' volumes: - ./kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml ports: - 5601:5601 networks: - bigdata healthcheck: test: ["CMD-SHELL", "curl -I http://localhost:5601 || exit 1"] interval: 10s timeout: 10s retries: 5 # 连接外部网络networks: bigdata: external: true
展開を開始する docker-compose up -d # 查看docker-compose ps
11) テスト検証ES アクセスアドレス: http://ip:9200 docker-compose ps curl localhost:9200 curl localhost:9200/_cat/health 写真 キバナ: http://ip:5601/ 写真 Git アドレス: https://gitee.com/hadoop-bigdata/docker-compose-es-kibana.git | 
