Py学习  »  分享发现

[精华] 发现一个好东西: Celery 分布式的任务队列

Py站长 • 10 年前 • 12401 次点击  

官方的介绍:

http://www.celeryproject.org/

Celery is an asynchronous task queue/job queue based on distributed message passing. It is focused on real-time operation, but supports scheduling as well.

The execution units, called tasks, are executed concurrently on a single or more worker servers using multiprocessing, Eventlet, or gevent. Tasks can execute asynchronously (in the background) or synchronously (wait until ready).

Celery is used in production systems to process millions of tasks a day.

Celery 是 异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作,但对调度支持也很好。celery用于生产系统每天处理数以百万计的任务。

值得关注的是,将Celery 与RabbitMQ 结合,将会产出很好的效果,可以实现 类似 新浪微博大数据量的消息推送。 有一篇文章使用 django+celery+RabbitMQ 来实现异步大数据的数据推送。有兴趣的人可以看看~~ http://simple-is-better.com/news/466

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/127
 
12401 次点击  
文章 [ 6 ]  |  最新文章 10 年前
天行涧-weibo
Reply   •   1 楼
天行涧-weibo    10 年前

回头我也试试!

灵魂码者
Reply   •   2 楼
灵魂码者    10 年前

回头搞一下!

indexofire
Reply   •   3 楼
indexofire    10 年前

也在用django+celery+rabbitmq做自动数据抓取,还是很方便的,有机会想测试下高负载的情况。

Py站长
Reply   •   4 楼
Py站长    10 年前

@steve 能介绍一下你们的产品吗?

Py站长
Reply   •   5 楼
Py站长    10 年前

@steve 不错!很厉害!

steve
Reply   •   6 楼
steve    10 年前

Great! Celery + RabbitMQ 正是我们目前的组合,目前应用场景为过百万的用户产品,不过还是有一些管理精细粒度上面的小瑕疵,以及不定期会在 rabbitmq(menia)持久化存储这里有些小麻烦出现,需要自己增加一些组件来完善。 总体来说,稳定度和效能还不错,欢迎有兴趣的同学来共同探讨。