比如我写了一个小爬虫, 安装在许多机器上。
有没有管理系统,把爬虫小程序变成 service,集中开停和监控?
我知道 scrapyd 有分布式的结构。 我想是不是有一种通用的系统。
有没有管理系统,把爬虫小程序变成 service,集中开停和监控?
我知道 scrapyd 有分布式的结构。 我想是不是有一种通用的系统。
1
unique Dec 11, 2020 via iPhone Crawlab
|