我用 scrapy 写了好几个网站的爬虫，就是抓取一些简单的文字。
现在希望爬虫能定时启动去爬取内容。
1 能够设置定时任务，各个爬虫可以设置不同的启动时间。 2 足够灵活，能够修改／取消。 3 爬虫 log 能够收集起来，到 redis 之类的
有没有比较好的方案啊？看了一下 pyspider 感觉挺好，但是不好灵活修改启动时间。
我用 scrapy 写了好几个网站的爬虫，就是抓取一些简单的文字。
现在希望爬虫能定时启动去爬取内容。
1 能够设置定时任务，各个爬虫可以设置不同的启动时间。 2 足够灵活，能够修改／取消。 3 爬虫 log 能够收集起来，到 redis 之类的
有没有比较好的方案啊？看了一下 pyspider 感觉挺好，但是不好灵活修改启动时间。
Select Language