欢迎来到尧图网

客户服务 关于我们

您的位置：首页 > 文旅 > 手游 > Elasticsearch（ES）与 MySQL 的对比分析及在 Spring Boot 中的使用

Elasticsearch（ES）与 MySQL 的对比分析及在 Spring Boot 中的使用

2025/1/19 5:21:38 来源：https://blog.csdn.net/xxiaobaibaibai/article/details/145202828  浏览:  次   关键词：Elasticsearch（ES）与 MySQL 的对比分析及在 Spring Boot 中的使用
Elasticsearch（ES）概述

Elasticsearch（ES）是一个基于Lucene的分布式、RESTful风格的搜索引擎。它提供了强大的全文索引、模糊查询、多条件组合查询、地理位置查询等功能，广泛应用于大数据量的检索场景，具有秒级响应能力。其设计初衷是为了提供高效的、分布式的实时搜索服务，能够快速处理PB级的结构化与非结构化数据。

ES的主要特点
  1. 分布式存储与搜索：每个字段都被索引且可以快速检索。ES的分布式设计可以横向扩展，支持处理PB级数据。
  2. 实时分析：提供近实时的搜索和分析功能，响应时间极短，适用于大规模数据的即时查询。
  3. RESTful API：简洁易用，支持多种编程语言，极大地方便了与其他应用系统的集成。
  4. 易于扩展：随着数据量的增长，可以通过增加节点来扩展系统，能够在高并发场景下提供稳定的性能。
ES vs MySQL: 为什么ES更快
  1. 基于分词的全文检索：
    • MySQL：使用 LIKE 查询时，通常会导致全表扫描，特别是当使用 % 通配符时，可能无法有效利用索引，性能急剧下降。
    • ES：ES对数据进行分词后，能通过倒排索引快速找到文档的位置。例如，当检索 “张三” 时，ES会快速定位到包含"张"和"三"的文档，不需要全表扫描。
  2. 精确检索：对于某些精确查询，MySQL可能更快，特别是在使用非聚合索引的情况下。但ES的分布式架构允许它在处理大规模数据时，通过并行查询和分片机制提升性能。ES还可以通过使用缓存进一步加速查询。
ES与MySQL的数据结构对比
特性MySQLElasticsearch
存储单位Table（表）Index（索引）
记录单位Row（行）Document（文档）
字段单位Column（列）Field（字段）
约束定义Schema（模式）Mapping（映射）
查询语言SQLDSL（查询语言）
  • Index：相当于数据库中的表。
  • Document：相当于数据库中的行，是实际存储的数据，格式为JSON。
  • Field：与数据库中的列对应，是文档中的字段。
  • Mapping：定义索引中文档的字段类型、约束等，类似数据库中的表结构。
ES倒排索引原理

ES采用倒排索引来加速检索。其工作原理如下：

  1. 分词：数据在写入ES之前，会经过分词器（例如IK Analyzer）对文本进行分词。
  2. 倒排索引：每个词都会被索引，并与文档ID（DocId）相关联。例如，若文档中包含某个词，倒排索引记录下该词及其出现文档的ID。

倒排索引的结构：

  • 单词Id：每个单词的唯一标识符。
  • 倒排列表：包含词频（TF）、文档ID（DocId）、词在文档中的位置等信息。
ES分词机制

在ES中，分词是一个至关重要的过程，它直接影响到搜索的效率与准确性。ES提供了多种分词器，可以根据需要选择不同粒度的分词策略。

  1. IK分词器：这是ES中常用的分词器，分为：
    • ik_max_word：最细粒度分词，适用于索引数据时，能够最大化覆盖词汇。
    • ik_smart：较粗粒度分词，适用于查询时，能够提高搜索的准确度。
  2. 分词场景应用：
    • 索引阶段：为了提高索引的覆盖度，通常会使用ik_max_word，将文本进行最细粒度的拆分，确保索引的全面性。
    • 查询阶段：使用ik_smart，通过较粗粒度的分词提高查询的效率。
ES 在 Spring Boot 中的使用

添加依赖

在Spring Boot项目中使用ES，可以通过spring-boot-starter-data-elasticsearch来简化配置。首先，添加如下依赖：

<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

配置ES连接

在application.properties或application.yml中配置ES的连接信息：

spring.data.elasticsearch.cluster-name=elasticsearch
spring.data.elasticsearch.cluster-nodes=localhost:9200

创建ES实体类和Repository接口

@Document(indexName = "product", type = "doc")
public class Product {@Idprivate String id;private String name;private String description;// Getters and Setters
}

然后创建ElasticsearchRepository接口来处理数据操作：

public interface ProductRepository extends ElasticsearchRepository<Product, String> {List<Product> findByName(String name);
}

使用Repository操作数据

@Service
public class ProductService {@Autowiredprivate ProductRepository productRepository;public List<Product> searchByName(String name) {return productRepository.findByName(name);}
}

搜索示例

@RestController
public class ProductController {@Autowiredprivate ProductService productService;@GetMapping("/search")public List<Product> search(@RequestParam String name) {return productService.searchByName(name);}
}
ES的应用场景
  1. 全文搜索：ES擅长处理复杂的文本查询，特别适用于需要模糊匹配、关键词搜索的场景，例如电商平台的商品搜索、博客文章搜索等。
  2. 日志分析：ES可以快速处理海量日志数据并提供实时查询，常用于监控系统、错误日志分析、用户行为追踪等。
  3. 数据聚合与分析：ES支持高效的聚合查询，可以在海量数据中快速提取有价值的信息。例如，统计分析某些字段的分布情况。
  4. 地理位置查询：ES支持地理位置数据的处理，可以用于位置相关的查询，例如周边商户查询、定位服务等。

Elasticsearch（ES）与 MySQL 的对比分析及在 Spring Boot 中的使用

ES的性能优化与调优

1. 选择合适的分片数

在创建ES索引时，分片数的设计对性能影响非常大。假设你需要存储10亿条数据，在ES集群中需要分布式存储时，可以按照以下配置来设置索引的分片数：

PUT /my_index
{"settings": {"number_of_shards": 5,  // 根据数据量和硬件资源，设置分片数"number_of_replicas": 1  // 设置副本数，提高可用性},"mappings": {"properties": {"name": {"type": "text"},"age": {"type": "integer"}}}
}
2. 调整缓存策略

可以通过设置查询缓存来提升查询性能：

PUT /my_index/_settings
{"settings": {"index.query.default_field": "name",  // 优化查询字段"index.cache.query.enabled": true,    // 开启查询缓存"index.cache.query.size": "100mb"     // 设置缓存大小}
}
3. 使用排序和分页

使用search_after避免传统分页的性能瓶颈：

GET /my_index/_search
{"query": {"match": {"name": "john"}},"sort": [{ "date": { "order": "asc" } },{ "_id": { "order": "desc" } }],"size": 10,"search_after": ["2023-01-01T00:00:00", "document_id_001"]  // 提供上次查询的最后一个排序条件
}
4. 常见性能瓶颈
  • 字段数据类型不匹配：确保字段类型正确设置，例如，使用integer而不是text存储数字。
  • 内存瓶颈：可以通过调整JVM堆内存来避免性能下降：
ES_JAVA_OPTS="-Xms2g -Xmx2g"  # 设置ES的JVM堆内存为2GB
  • 磁盘瓶颈：使用SSD硬盘，提升磁盘I/O性能。

ES与MySQL的结合应用

1. 数据同步：MySQL与ES的数据同步

使用Logstash进行数据同步的配置示例如下：

input {jdbc {jdbc_driver_library => "/path/to/mysql-connector-java.jar"jdbc_driver_class => "com.mysql.cj.jdbc.Driver"jdbc_connection_string => "jdbc:mysql://localhost:3306/my_database"jdbc_user => "root"jdbc_password => "password"statement => "SELECT * FROM users"}
}output {elasticsearch {hosts => ["http://localhost:9200"]index => "users"document_id => "%{id}"}
}
2. ES加速MySQL查询

假设我们将ES用于MySQL的全文检索加速。可以通过将用户查询转发到ES进行快速搜索，再根据需要回退到MySQL进行数据验证：

// 使用Elasticsearch客户端查询数据
SearchResponse searchResponse = client.prepareSearch("users").setQuery(QueryBuilders.matchQuery("name", "john")).setSize(10).get();// 如果ES返回的结果不够精确，回退到MySQL进行查询
if (searchResponse.getHits().getHits().length == 0) {String sql = "SELECT * FROM users WHERE name LIKE ?";jdbcTemplate.query(sql, new Object[]{"%john%"}, new UserRowMapper());
}
3. 双写模式

在写入数据时，可以通过Spring事务管理将数据同时写入MySQL和ES：

@Transactional
public void saveUser(User user) {// 写入MySQL数据库userRepository.save(user);// 写入ElasticsearchelasticsearchRepository.save(user);
}

ES高级特性

1. 分布式特性

ES的分布式架构通过设置副本数和分片数实现数据的高可用和负载均衡：

PUT /my_index
{"settings": {"number_of_shards": 5,"number_of_replicas": 2  // 设置副本数}
}
2. 聚合查询

ES的聚合查询非常强大，可以进行复杂的数据统计。例如，计算每个用户的平均年龄：

GET /users/_search
{"aggs": {"average_age": {"avg": {"field": "age"}}}
}

Spring Boot中的ES集成高级实践

1. Spring Data Elasticsearch的高级特性
  • 自定义查询方法：在Spring Data Elasticsearch中，可以通过方法命名规则来自动生成查询。例如，通过以下代码实现按名称查找用户：
public interface UserRepository extends ElasticsearchRepository<User, String> {List<User> findByName(String name);  // 根据名称查找
}
  • 分页查询：使用Pageable进行分页查询：
Page<User> page = userRepository.findByName("john", PageRequest.of(0, 10));
  • 批量操作：Spring Data Elasticsearch支持批量保存数据：
List<User> users = Arrays.asList(new User("john", 30), new User("alice", 25));
userRepository.saveAll(users);
2. 事务管理与一致性

在Spring Boot中处理ES的事务可以通过分布式事务管理来确保一致性。比如，使用@Transactional确保MySQL和ES的数据一致性：

@Transactional
public void saveUserWithTransaction(User user) {// 保存数据到MySQLuserRepository.save(user);// 保存数据到ESelasticsearchRepository.save(user);
}

ES的安全性与认证

1. 身份验证与授权

通过X-Pack或开源插件配置身份验证和授权。例如，使用X-Pack的配置：

xpack.security.enabled: true
xpack.security.authc.realms.native.native1:order: 0

通过开源插件Search Guard配置：

searchguard.authcz.admin_dn:- "CN=admin, OU=example, O=example"
2. 保护敏感数据

使用Elasticsearch的加密功能来保护敏感数据，确保传输中的数据被加密。可以在ES配置中启用TLS/SSL加密：

network.host: 0.0.0.0
http.port: 9200
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.keystore.path: /path/to/keystore.p12
xpack.security.transport.ssl.truststore.path: /path/to/truststore.p12

常见问题与最佳实践

1. 常见问题及解决方案
  • 集群节点丢失：可以使用zen-disco来自动发现节点并进行恢复。
  • 数据丢失：定期进行快照备份，使用Snapshot API进行数据恢复：
PUT /_snapshot/my_backup/snapshot_1
{"indices": "users,logs","ignore_unavailable": true,"include_global_state": false
}
2. 最佳实践
  • 合理设置索引与映射：例如，设置keyword类型来提高精确查询性能：
PUT /my_index/_mapping
{"properties": {"name": {"type": "keyword"  // 使用keyword类型来提高精确匹配性能}}
}
总结：

Elasticsearch（ES）作为一个分布式搜索引擎，凭借其强大的索引机制、实时分析能力和分布式特性，在处理大规模数据查询时，比传统关系型数据库MySQL更具优势。它适用于全文搜索、日志分析、实时数据查询等多种场景。通过Spring Boot的集成，可以非常方便地将ES引入到应用中，极大地提升系统的数据检索与分析能力。

版权声明:

本网仅为发布的内容提供存储空间，不对发表、转载的内容提供任何形式的保证。凡本网注明“来源：XXX网络”的作品，均转载自其它媒体，著作权归作者所有，商业转载请联系作者获得授权，非商业转载请注明出处。

我们尊重并感谢每一位作者，均已注明文章来源和作者。如因作品内容、版权或其它问题，请及时与我们联系，联系邮箱：809451989@qq.com，投稿邮箱：809451989@qq.com

相关资讯

热文排行

最新新闻

推荐新闻

热搜词

【人工智能 | 大数据】基于人工智能的大数据分析方法 第一章：计算机概述 Nginx反向代理架构介绍 VSCode代理配置导致的SSL证书验证错误及解决方案 诡异的Spring @RequestBody驼峰命名字段映射失败为null问题记录 大模型WebUI：Gradio全解11——Chatbots：融合大模型的多模态聊天机器人（2）