arithboy's recent timeline updates arithboy's recent timeline updates |
arithboyV2EX member #47231, joined on 2013-10-19 02:07:00 +08:00 |
arithboy's recent replies
Feb 1, 2021 Replied to a topic by guanguans › 分享创造 › 花了两年时间和同学把旧书网上淘来的两本书书做成了在线阅读版 |
赞楼主!
没有盈利,出于善意,不必考虑版权问题
没有盈利,出于善意,不必考虑版权问题
May 3, 2018 Replied to a topic by akmonde › Python › 关于 scrapy 处理批量 url |
你把 url 和相应的参数拼成一个 url 列表，然后赋值到 self.start_urls 变量里面跑
要多进程的话，把 url 放到队列里面，然后启动多个 scrapy 从队列中取
要多进程的话，把 url 放到队列里面，然后启动多个 scrapy 从队列中取
Select Language