Elasticsearch

elasticsearch基本概念与安装

1、 elasticsearch的核心概念

1 NRT（Near Realtime）：近实时

两方面：

• 写入数据时，过1秒才会被搜索到，因为内部在分词、录入索引。

• es搜索时：搜索和分析数据需要秒级出结果。

2 Cluster：集群

包含一个或多个启动着es实例的机器群。通常一台机器起一个es实例。同一网络下，集名一样的多个es实例自动组成集群，自动均衡分片等行为。默认集群名为“elasticsearch”。

3 Node：节点

每个es实例称为一个节点。节点名自动分配，也可以手动配置。

4 Index：索引

包含一堆有相似结构的文档数据。

索引创建规则：

• 仅限小写字母

• 不能包含\、/、 *、?、"、<、>、|、#以及空格符等特殊符号

• 从7.0版本开始不再包含冒号

• 不能以-、_或+开头

• 不能超过255个字节（注意它是字节，因此多字节字符将计入255个限制）

5 Document：文档

es中的最小数据单元。一个document就像数据库中的一条记录。通常以json格式显示。多个document存储于一个索引（Index）中。

book document

{
  "book_id": "1",
  "book_name": "java编程思想",
  "book_desc": "从Java的基础语法到最高级特性（深入的[面向对象](https://baike.baidu.com/item/面向对象)概念、多线程、自动项目构建、单元测试和调试等），本书都能逐步指导你轻松掌握。",
  "category_id": "2",
  "category_name": "java"
}

6 Field:字段

就像数据库中的列（Columns），定义每个document应该有的字段。

7 Type：类型

每个索引里都可以有一个或多个type，type是index中的一个逻辑数据分类，一个type下的document，都有相同的field。

注意：6.0之前的版本有type（类型）概念，type相当于关系数据库的表，ES官方将在ES9.0版本中彻底删除type。本教程typy都为_doc。

8 shard：分片

index数据过大时，将index里面的数据，分为多个shard，分布式的存储在各个服务器上面。可以支持海量数据和高并发，提升性能和吞吐量，充分利用多台机器的cpu。

9 replica：副本

在分布式环境下，任何一台机器都会随时宕机，如果宕机，index的一个分片没有，导致此index不能搜索。所以，为了保证数据的安全，我们会将每个index的分片经行备份，存储在另外的机器上。保证少数机器宕机es集群仍可以搜索。

能正常提供查询和插入的分片我们叫做主分片（primary shard），其余的我们就管他们叫做备份的分片（replica shard）。

es6默认新建索引时，5分片，2副本，也就是一主一备，共10个分片。所以，es集群最小规模为两台。

3.5.3 elasticsearch核心概念 vs. 数据库核心概念

关系型数据库（比如Mysql）	非关系型数据库（Elasticsearch）
数据库Database	索引Index
表Table	索引Index（原为Type）
数据行Row	文档Document
数据列Column	字段Field
约束 Schema	映射Mapping

2． Elasticsearch相关软件安装

Docker 安装 单节点集群

1、安装 Docker

如果使用 Docker Desktop，请确保分配至少 4GB 的内存。您可以 通过转到“设置”>“资源”来调整 Docker Desktop 中的内存使用情况。

2、创建新的 docker 网络。

docker network create elastic

3、拉取Elasticsearch Docker映像。

docker pull docker.elastic.co/elasticsearch/elasticsearch:8.13.4

4、可选：安装 Cosignfor your 环境。然后使用Cosign验证Elasticsearch图像的签名。

wget https://artifacts.elastic.co/cosign.pub
cosign verify --key cosign.pub docker.elastic.co/elasticsearch/elasticsearch:8.13.4

该命令以 JSON 格式打印检查结果和签名有效负载：cosign

Verification for docker.elastic.co/elasticsearch/elasticsearch:8.13.4 --
The following checks were performed on each of these signatures:
  - The cosign claims were validated
  - Existence of the claims in the transparency log was verified offline
  - The signatures were verified against the specified public key

5、启动 Elasticsearch 容器。

docker run --name es01 --net elastic -p 9200:9200 -it -m 1GB docker.elastic.co/elasticsearch/elasticsearch:8.13.4

使用-m标志为容器设置内存限制。

该命令打印Kibana的elastic用户密码和注册令牌。

6、生成的elastic密码和注册令牌, 仅在第一次启动Elasticsearch时显示。可以使用以下命令的凭据重新生成 。

docker exec -it es01 /usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic
docker exec -it es01 /usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana

建议将elastic密码作为环境变量存储在shell中。示例：

export ELASTIC_PASSWORD="your_password"

7、将http_ca.crtSSL证书从容器复制到本地计算机。

docker cp es01:/usr/share/elasticsearch/config/certs/http_ca.crt .

8、对Elasticsearch进行REST API调用以确保Elasticsearch容器正在运行。

curl --cacert http_ca.crt -u elastic:$ELASTIC_PASSWORD https://localhost:9200

添加更多节点

1、使用现有节点为新节点生成注册令牌。

docker exec -it es01 /usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s node

注册令牌有效期为30分钟。

2、启动一个新的Elasticsearch容器。将注册令牌作为环境变量包含在内。

docker run -e ENROLLMENT_TOKEN="<token>" --name es02 --net elastic -it -m 1GB docker.elastic.co/elasticsearch/elasticsearch:8.13.4

3、启动一个新的Elasticsearch容器。将注册令牌作为环境变量包含在内。

docker run -e ENROLLMENT_TOKEN="<token>" --name es02 --net elastic -it -m 1GB docker.elastic.co/elasticsearch/elasticsearch:8.13.4

4、调用cat节点API以验证节点是否被添加到集群中。

curl --cacert http_ca.crt -u elastic:$ELASTIC_PASSWORD https://localhost:9200/_cat/nodes

Kibana

1、拉取KibanaDocker映像。

docker pull docker.elastic.co/kibana/kibana:8.13.4

2、可选：验证Kibana图像的签名。

wget https://artifacts.elastic.co/cosign.pub
cosign verify --key cosign.pub docker.elastic.co/kibana/kibana:8.13.4

3、启动Kibana容器。

docker run --name kib01 --net elastic -p 5601:5601 docker.elastic.co/kibana/kibana:8.13.4

4、当Kibana启动时，它会输出一个唯一生成的链接到终端。要访问Kibana，请在网络浏览器中打开此链接。

5、在浏览器中，输入启动Elasticsearch时生成的注册令牌。

要重新生成令牌，请运行：

docker exec -it es01 /usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana

6、使用生成的密码以elastic用户身份登录Kibana。要重新生成密码，请运行：

docker exec -it es01 /usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic

移除容器

要删除容器及其网络，请运行：

# Remove the Elastic network
docker network rm elastic

# Remove Elasticsearch containers
docker rm es01
docker rm es02

# Remove the Kibana container
docker rm kib01