V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  arithboy  ›  全部回复第 1 页 / 共 1 页
回复总数  2
赞楼主!
没有盈利,出于善意,不必考虑版权问题
2018 年 5 月 3 日
回复了 akmonde 创建的主题 Python 关于 scrapy 处理批量 url
你把 url 和相应的参数拼成一个 url 列表,然后赋值到 self.start_urls 变量里面跑
要多进程的话,把 url 放到队列里面,然后启动多个 scrapy 从队列中取
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1045 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 18:44 · PVG 02:44 · LAX 11:44 · JFK 14:44
♥ Do have faith in what you're doing.