【JAVA架构师成长之路】【Redis】第15集：Redis大Key问题分析与解决方案

30分钟自学教程：Redis大Key问题分析与解决方案

目标

理解大Key的定义、危害及检测方法。
掌握大Key的拆分、分页、压缩等核心优化策略。
能够通过代码实现大Key的读写优化。
学会应急处理与预防大Key的设计规范。

教程内容

0~2分钟：大Key的定义与核心影响

定义：
- Value过大：如String类型Value超过10MB。
- 元素过多：Hash/List/Set/ZSet元素数超过5000。
- 高频访问：单个Key的QPS极高（如每秒数万次）。
危害：
- 内存不均：单节点内存占满，触发淘汰策略。
- 阻塞请求：大Key的序列化/反序列化耗时高。
- 网络拥塞：单次传输数据量过大。

2~5分钟：代码模拟大Key场景（Java示例）

// 模拟写入一个超大String（Java示例）  
public void setLargeKey() {  String key = "large:text";  StringBuilder sb = new StringBuilder();  for (int i = 0; i < 1000000; i++) { // 生成1MB文本  sb.append("a");  }  redisTemplate.opsForValue().set(key, sb.toString());  
}  // 模拟大Hash（存储10万字段）  
public void setLargeHash() {  String key = "user:stats";  Map<String, String> map = new HashMap<>();  for (int i = 0; i < 100000; i++) {  map.put("field_" + i, "value_" + i);  }  redisTemplate.opsForHash().putAll(key, map);  
}

5~12分钟：解决方案1——大Key拆分与分页

拆分大String：按固定长度切分，存储为多个Key。

// 大String拆分为多个子Key  
public void splitLargeString(String key, String content, int chunkSize) {  List<String> chunks = new ArrayList<>();  for (int i = 0; i < content.length(); i += chunkSize) {  int end = Math.min(i + chunkSize, content.length());  String chunk = content.substring(i, end);  redisTemplate.opsForValue().set(key + ":chunk_" + i, chunk);  }  
}  // 读取时合并  
public String getLargeString(String key) {  StringBuilder sb = new StringBuilder();  int i = 0;  while (true) {  String chunk = redisTemplate.opsForValue().get(key + ":chunk_" + i);  if (chunk == null) break;  sb.append(chunk);  i += chunk.length();  }  return sb.toString();  
}

分页读取大Hash：使用HSCAN分批获取数据。

// 分页读取Hash字段（Java示例）  
public Map<String, String> scanLargeHash(String key, int batchSize) {  Map<String, String> result = new HashMap<>();  ScanOptions options = ScanOptions.scanOptions().count(batchSize).build();  Cursor<Map.Entry<Object, Object>> cursor = redisTemplate.opsForHash().scan(key, options);  while (cursor.hasNext()) {  Map.Entry<Object, Object> entry = cursor.next();  result.put(entry.getKey().toString(), entry.getValue().toString());  }  return result;  
}

12~20分钟：解决方案2——压缩与批处理

数据压缩：对文本类大Value使用GZIP压缩。

// 压缩后写入Redis  
public void setCompressedData(String key, String data) throws IOException {  ByteArrayOutputStream bos = new ByteArrayOutputStream();  GZIPOutputStream gzip = new GZIPOutputStream(bos);  gzip.write(data.getBytes());  gzip.close();  redisTemplate.opsForValue().set(key, bos.toByteArray());  
}  // 读取时解压  
public String getCompressedData(String key) throws IOException {  byte[] compressed = redisTemplate.opsForValue().get(key);  GZIPInputStream gzip = new GZIPInputStream(new ByteArrayInputStream(compressed));  return new String(gzip.readAllBytes());  
}

批处理优化：使用Pipeline减少大Key操作的网络开销。

// 批量写入Hash字段（Java Pipeline示例）  
public void batchWriteHash(String key, Map<String, String> data) {  redisTemplate.executePipelined((RedisCallback<Object>) connection -> {  data.forEach((field, value) -> {  connection.hSet(key.getBytes(), field.getBytes(), value.getBytes());  });  return null;  });  
}

20~25分钟：解决方案3——大Key检测与删除

检测工具：
- 命令行：redis-cli --bigkeys 扫描内存中最大的Key。
- 代码扫描：使用SCAN命令分页遍历所有Key并统计大小。

// 自定义大Key扫描（Java示例）  
public void findLargeKeys(int sizeThreshold) {  Cursor<byte[]> cursor = redisTemplate.scan(ScanOptions.scanOptions().count(100).build());  while (cursor.hasNext()) {  String key = new String(cursor.next());  Long size = redisTemplate.execute(connection -> connection.keyCommands().memoryUsage(key.getBytes()));  if (size != null && size > sizeThreshold) {  System.out.println("大Key: " + key + "，大小: " + size + " bytes");  }  }  
}

安全删除：避免直接删除导致阻塞，使用UNLINK替代DEL。

// 异步删除大Key  
public void safeDeleteLargeKey(String key) {  redisTemplate.unlink(key); // 非阻塞删除  
}

25~28分钟：应急处理方案

临时限流：对高频访问的大Key进行限流。

// 使用Guava RateLimiter限流  
private RateLimiter limiter = RateLimiter.create(100); // 每秒100次  public String accessHotKey(String key) {  if (limiter.tryAcquire()) {  return redisTemplate.opsForValue().get(key);  }  return "请求过于频繁，请稍后重试";  
}

迁移与隔离：将大Key迁移至独立Redis实例。

# 命令行迁移（示例）  
redis-cli --hotkeys --csv | grep "large_key" | xargs -I {} redis-cli migrate target_host 6379 "" 0 5000 copy replace keys {}

28~30分钟：总结与设计规范

核心原则：
- 拆分：将大Key拆分为多个子Key。
- 压缩：对文本/JSON数据启用压缩。
- 监控：定期扫描大Key并优化。
设计规范：
- 禁止存储超过1MB的String类型Value。
- 对Hash/List等集合元素数设置上限（如5000）。
- 使用短Key名（如u:1000代替user:1000:profile）。