多线程、多进程，还是异步？-- Python 并发 API 如何选择

如何选择正确的 Python 并发 API模块？
Python 标准库提供了三种并发 API ， 如何知道你的项目应该使用哪个 API？

在本教程将带逐步了解各API的特性、区别以及各自应用场景，指导你选择最合适的并发 API。

多线程、多进程，还是异步？-- Python 并发 API 如何选择

Python 标准库提供了三种在程序中并发执行任务的方法。分别是 :

multiprocessing 模块用于基于进程的并发，
threading 模块用于基于线程的并发，
asyncio 模块用于基于协程的并发。

实际上还有1个选择，在 Python标准库里，基于 threading 与 multiprocessing 提供了1个异步执行多任务的高阶API： concurrent.futures 模块，由于其使用 Pool Executor 执行器API, 因此，本文后面称之为Executors API.

很多人为选择哪个感到头痛：

例如，在选择了一个API之后，如果要并发执行多个任务，还要考虑应该使用工作池并发执行多任务，还是自己编写并发任务的代码？
如果你选择使用工作池，还要考虑使用 multiprocessor Pools API 还是 Executors API?

即使是经验丰富的 Python 开发人员也对这些选项感到困惑。你应该为你的项目使用哪个 Python 并发 API？ 你需要一些经验法则来指导选择最合适的并发 API。

选择哪个 Python 并发 API？

如需要在 Python 程序中使用并发。应该使用哪个 API？ 这是最常见的问题之一。

这就是我写这本指南的原因。

首先，有三个主要的 Python 并发 API，它们是：

基于协程，由 “asyncio” 模块提供。
基于线程，由 “threading” 模块提供。
基于进程，由 “multiprocessing” 模块提供。

在这三个之间选择相对直接。我将在下一节中向你展示如何做到这一点。

问题在于，还有更多的决定要做。你需要考虑是否应该使用工作池。例如：

如果你决定需要基于线程的并发，你应该使用线程池还是以某种方式使用 Thread 类？
如果你决定需要基于进程的并发，你应该使用进程池还是以某种方式使用 Process 类？

然后，如果你决定使用可重用的工作池进行并发，你有多个选项可供选择。

例如：

如果你决定需要线程池，你应该使用 ThreadPool 类还是 ThreadPoolExecutor？
如果你决定需要进程池，你应该使用 Pool 类还是 ProcessPoolExecutor？

下图总结了这些决策点。

在这里插入图片描述

你如何弄清楚这一切？如何选择适合你项目的 Python 并发 API？

选择 Python 并发 API 的过程

你可以使用的一种方法，也许是最常见的方法，是临时选择一个 API。许多开发决策都是这样做出的，你的程序可能会很好地工作。但也许不会。

我建议在选择适合你项目的 Python 并发 API 时，采用 3 步过程判断：

步骤如下：

第 1 步：任务是基于CPU 绑定 vs IO 绑定（多进程 vs 线程）
第 2 步：需要并发执行许多临时任务 vs 只是一个复杂任务？
第 3 步：用池(Pool) vs 执行器(executor)？

我还把决策分析树绘成了一个方便的图片，如下：

在这里插入图片描述

接下来，让我们仔细看看每个步骤并增加一些细微差别。

第 1 步：CPU 绑定任务 vs IO 绑定任务？

选择要使用的 Python 并发 API 的第一步是考虑你想要执行的任务或任务的限制因素。

任务主要是 CPU 绑定还是 IO 绑定？

CPU 绑定任务

CPU 绑定任务是一种涉及执行计算而不涉及 IO 的任务类型。这些操作只涉及内存中的数据，并对该数据执行计算。因此，这些操作的限制是 CPU 的速度。这就是为什么我们称它们为 CPU 绑定任务。

示例包括：

估计圆周率。
分解质数。
解析 HTML、JSON 等文档。
处理文本。
运行模拟。

CPU 非常快，我们通常有一个以上的多核CPU。我们希望执行我们的任务并充分利用现代硬件中的多个 CPU 核心。

现在我们已经熟悉了 CPU 绑定任务，让我们仔细看看 IO 绑定任务。

IO 绑定任务

IO 绑定任务是一种涉及从设备、文件或套接字连接中读取或写入的任务类型。这些操作涉及输入和输出 (IO)，这些操作的速度受到设备、硬盘或网络连接的限制。这就是为什么这些任务被称为 IO 绑定的原因。

CPU 速度很快。现在CPU，主频可达 4GHz，每秒可以执行 40 亿条指令，你的系统中可能有一个以上的 CPU，每个CPU还有多个核。与 CPU 的速度相比，执行 I/O 操作非常慢。与设备交互、读写文件和套接字连接涉及调用操作系统中的指令（内核），它将等待操作完成。在等待期间,CPU 资源被闲置浪费了。

IO 绑定任务的示例包括：

从硬盘读取或写入文件。
读取或写入标准输出、输入或错误（stdin、stdout、stderr）。
打印文档。
下载或上传文件。
查询服务器。
查询数据库。
拍照或录像。
等等。

现在我们已经熟悉了 CPU 绑定和 IO 绑定任务，让我们考虑我们应该使用哪种类型的 Python 并发 API。

选择 Python 并发 API

回想一下，multiprocessing 模块提供基于进程的并发，threading 模块提供进程内的基于线程的并发。

通常，如果你有 CPU 绑定任务，你应该使用基于进程的并发。

如果你有 IO 绑定任务，你应该使用基于线程的并发。

CPU 绑定任务：使用 “multiprocessing” 模块进行基于进程的并发。
IO 绑定任务：使用 “threading” 模块进行基于线程的并发。

multiprocessing 模块适用于主要关注计算密集型的任务，这些任务之间共享的数据相对较少。因为进程之间共享的数据都必须序列化，会增加I/O时间，因此multiprocessing 不适用于任务之间发送或接收大量数据。

多进程可以让你可以利用每1个 CPU 核心或每个物理 CPU 核心来运行任务，并最大化利用底层硬件资源。

threading 模块适用于主要关注从 IO 设备读取或写入的任务，计算相对较少。由于全局解释器锁 (GIL) 阻止一次执行多个 Python 线程，threading 不适用于执行大量 CPU 计算的任务。GIL 通常只在执行阻塞操作时释放，比如 IO，或者在一些第三方 C 库中特别如此，比如 NumPy。

你可以执行数十、数百或数千个基于线程的任务，因为 IO 大部分时间都在等待。

下图总结了在线程模块的多线程并发和 multiprocessing 模块的进程并发之间进行选择的决策点。
在这里插入图片描述

可以参考本人关于 threading 和 multiprocessing 的文章：

Python 多进程编程指南
Python 多线程编程指南

接下来，让我们考虑 AsyncIO 是否合适。

在线程和 AsyncIO 之间进行选择

如果你的任务主要是 IO 绑定的，你有另一个决策点。你必须在 “threading” 模块和 “asyncio” 模块之间进行选择。回想一下，threading 模块提供基于线程的并发，asyncio 模块提供线程内的基于协程的并发。

通常，如果你有很多套接字连接（或者更喜欢异步编程），你应该使用基于协程的并发。否则，你应该使用基于线程的并发。

多个套接字连接（包括 TCP/UDP, http, websocket等)：使用 “asyncio” 模块进行基于协程的并发。
否则：使用 “threading” 模块进行基于线程的并发。

asyncio 模块专注于套接字连接的并发非阻塞 IO。例如，如果你的 IO 任务是基于文件I/O, 数据库I/O的，那么 asyncio 可能不是最合适的选择，至少仅因为这一点。

原因是协程比线程更轻量级，因此一个线程可以托管比进程可以管理的线程多得多的协程。例如，asyncio 可能允许成千上万，甚至更多的协程用于基于套接字的 IO，而 threading API 可能只有几百到低数千个线程。

另一个考虑是你可能会想要或需要在开发程序时使用异步编程范式，例如 async/wait。因此，这个要求将覆盖任务所施加的任何要求。同样，你可能对异步编程范式有反感，因此这种偏好将覆盖任务所施加的任何要求。

第 2 步：并发执行许多临时任务 vs 一个复杂任务？

第二步是考虑你是否需要执行独立的临时任务或一个大型复杂任务。

我们在这一点上考虑的是，你是否需要发出一个或多个可能从可重用工作池中受益的临时任务。或者，你是否需要一个单一任务，其中可重用工作池将是多余的。

另一种思考方式是，你是否有一个或几个不同但复杂的任务，如监视器、调度程序或类似的任务，可能会持续很长时间，例如程序的持续时间。这些将不是临时任务，并且可能不会从可重用工作池中受益。

短暂和/或许多临时：使用线程或进程池。
长期和/或复杂任务：使用 Thread 或 Process 类。

在你选择基于线程的并发的情况下，选择是在线程池或使用 Thread 类之间。

在你选择基于进程的并发的情况下，选择是在进程池或使用 Process 类之间。

一些额外的考虑包括：

异构 vs 同质任务：池可能更适合一组不同的任务（异构），而 Process/Thread 类适合一种类型任务（同质）。
重用 vs 一次性使用：池适合重用并发的基础，例如重用线程或进程执行多个任务，而 Process/Thread 类适合一次性任务，可能是一个长期任务。
多个任务 vs 单个任务：池自然支持多个任务，可能以多种方式发出，而 Process/Thread 类只支持一种类型的任务，一次配置或覆盖。

让我们通过一些例子来具体化：

一个 for 循环，每次迭代调用一个函数，每次使用不同的参数，可能适合线程池，因为可以自动重用工作线程完成每个任务。
一个监视资源的后台任务可能适合 Thread/Process 类，因为它是一个长期运行的单一任务，可能有很多复杂和专业的功能，可能分散在许多函数调用中。
一个下载许多文件的脚本可能适合工作池，因为每个任务持续时间很短，可能有更多的文件而不是工人，允许重用工人和排队任务以完成。
一个维护内部状态并与主程序交互的一次性任务可能适合 Thread/Process 类，因为类可以被覆盖以使用实例变量进行状态管理，使用方法进行模块化功能。

下图可能有助于在工作池和 Thread 或 Process 类之间进行选择。
在这里插入图片描述

第 3 步：池 vs 执行器？

第三步是考虑要使用的工作者池的类型。

它们有两种主要类型，它们是：

池：multiprocessing.pool.Pool 和支持线程的类的移植 multiprocessing.pool.ThreadPool。
执行器：concurrent.futures.Executor 类和两个子类 ThreadPoolExecutor 和 ProcessPoolExecutor。

两者都提供工作者池。相似之处众多，差异很少且微妙。

例如，相似之处包括：