写了一个 celery 爬虫监控 demo

2019 年 3 月 27 日
 adrianyoung
花了一两周在摸 celery 的坑

然后用 Python 写了个监控脚本针对 celery task 和 worker

主要靠 Prometheus + Grafana, 简单粗暴, 甚至感觉有点爽 ?

跟 flower 比的话, 还能更灵活点，外加有个报警功能

顺手贴下 grafana dashboard 对应模板: https://grafana.com/dashboards/9970

顺手贴下 github: https://github.com/adrianyoung/CrawlerMonitor

相关安装、配置、用法都在 wiki 后面写了备忘

单独监控 rabbitmq 有个比较火的模板 https://grafana.com/dashboards/2121

还有很多可以完善的地方, 后面会慢慢补足
4301 次点击
所在节点    分享创造
4 条回复
xxm459259
2019 年 3 月 28 日
真是有缘...
adrianyoung
2019 年 3 月 28 日
@pandachow 哈哈哈哈都是路人
6d6f33
2019 年 3 月 31 日
感谢。
不过 celery 4 不知道你会不会遇到一个神坑，定时任务的服务会莫名其妙的随机很多天后死亡（停止）。如果遇到了，也解决不了的话，记得去看看 RQ，这个简单点，可定制程度也很高。
adrianyoung
2019 年 3 月 31 日
@6d6f33 我想吐槽一下的是我现在也没搞懂 celery 到底哪个版本是真正稳定的，定时任务的话肯定就跟时区问题挂钩我还没实际碰到过，如果有问题的话应该上去找找 issue，rq 没用过我了解下。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.xtra.eu.org/t/549292

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX