最近学爬虫，打算用 python unbuntu postgresql
问题1：他们的爬虫，是不是会针对一些大网站，专门定制开发蜘蛛规则？
问题2：爬虫的分布式任务调度算法是不是很复杂？查资料了 ，还是没理解透彻 [是不是先，生成要采集的url，然后把url分部给worker]
问题3：你有什么爬虫的知识分享给新手吗
问题1：他们的爬虫，是不是会针对一些大网站，专门定制开发蜘蛛规则？
问题2：爬虫的分布式任务调度算法是不是很复杂？查资料了 ，还是没理解透彻 [是不是先，生成要采集的url，然后把url分部给worker]
问题3：你有什么爬虫的知识分享给新手吗
Select Language