多进程系列：同一个模型，不同的数据并行处理
这里展示调用同一个函数或模型，对不同的数据进行多进程并行处理。
代码示例
import multiprocessing
import time def classify_model_1(data):# 模拟分类操作 time.sleep(1)print("classify_model_1")return f"模型1分类结果: {data}"
def segment_model_1(data):# 模拟分割操作 time.sleep(1)print("segment_model_1")return f"模型1分割结果: {data}"
if __name__ == '__main__':tic = time.time()# 准备数据，这里只是示例，你可能需要为每个模型准备不同的数据 data = ["数据1", "数据2", "数据3", "数据4", "数据5"]# 创建进程池 with multiprocessing.Pool(processes=5) as pool:# 分类任务与分割任务串行处理，内部并行处理# 使用 map 来分配分类任务 classified_results = pool.starmap(classify_model_1, [(d,) for d in data])# 使用 map 来分配分割任务 segmented_results = pool.starmap(segment_model_1, [(d,) for d in data])# 输出结果 for result in classified_results:print(result)for result in segmented_results:print(result)toc = time.time()print(f"总耗时: {toc - tic}秒")
结果示例
# classify_model_1
# classify_model_1
# classify_model_1
# classify_model_1
# classify_model_1
# segment_model_1
# segment_model_1
# segment_model_1
# segment_model_1
# segment_model_1
# 模型1分类结果: 数据1
# 模型1分类结果: 数据2
# 模型1分类结果: 数据3
# 模型1分类结果: 数据4
# 模型1分类结果: 数据5
# 模型1分割结果: 数据1
# 模型1分割结果: 数据2
# 模型1分割结果: 数据3
# 模型1分割结果: 数据4
# 模型1分割结果: 数据5
# 总耗时: 3.8713178634643555秒
