Py学习  »  Python

如何使用python调度程序库运行并行任务?

BOMA • 7 年前 • 2052 次点击  

使用python调度程序库运行多核cpu并行任务的方法是什么?

在这个并行任务示例中添加超时和一些顺序相关元素以及异常处理的任何示例?

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/47227
文章 [ 1 ]  |  最新文章 7 年前
Rohit
Reply   •   1 楼
Rohit    7 年前

因为您根本没有发布任何代码,所以很难理解您想要问什么以及您到底想要实现什么。

我想如果你想达到 真的 在python中,要使用的库应该是 multiprocessing 是的。与 多重处理 您可以从主进程启动独立的python进程,并让它们同时在不同的物理核心上运行。

如果任务相互依赖,则需要使用进程间通信技术,如 Queues ,请 Pipes 或由提供的共享IPC对象 多重处理 图书馆本身 多处理 array 我是说, value 我是说, 多处理 Manager 是的。

对于独立任务,您不必太担心同步进程状态,但是如果需要合并独立任务的结果,可以使用 多处理 pool 和 map 是的。

但是,如果您只想并发执行任务,因此不想浪费任何cpu时间,那么您可以查看 threading 尽管图书馆, 穿线 ,有其自身的复杂性, GIL 是最大的一个。

async 是另一个您想要研究的范式,它对并发性采取完全不同的方法,但是 异步 它有自己的生态系统,一切都需要成为这个生态系统的一部分,才能真正达到预期的结果,否则整件事就完了。