PySpider 怎样爬一个已知的、不断生成的 URL 列表？

情形：

现有一个固定格式的、大约 700w 条数据的 URL ，如 "http://example/item/%d" % (i)

我不想生成一个这么大的列表。最科学的方法应该是弄成一个生成器，生成 1000 个 url ， yield 出来，再生成 1000 个...直到一直把活干完。

不知道 PySpider 怎样重写这个 url 。查看文档和源码，发现是用 BaseHandler 的 crawl 方法，读取一个 url 列表。

我现在想实现：

• 每次自动生成一定数量的 url 作为任务
• 记住当前工作状态，比如运行的 taskid ，任务暂停、重启动时，自动从该位置生成新的 url (如从 23333 开始)

不知有没有老大有经验？

def urls(self):
    i=1
    while i<7000000:
        yield "http://example/item/%d" % (i)
        i += 1

@every(minutes=24 * 60)
def on_start(self):
    self.crawl(self.urls(), callback=self.index_page)