请教range生成随机数枚举链接的效率问题?

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 4929 days ago, the information mentioned may be changed or developed.

我想要枚举一个网站的链接。比如百度贴吧
http://tieba.baidu.com/p/1
.
..
...
http://tieba.baidu.com/p/2019334701
http://tieba.baidu.com/p/2019334702
http://tieba.baidu.com/p/2019334703
用range枚举检查链接是否存在，如何能够高效，快速的检查？
range(0,2019334703,1)
这样枚举检查，我觉得效率不高，有没有办法高效的检查方法，比如弄到内存中。
求高手指点赐教。

2 replies • 1970-01-01 08:00:00 +08:00

best1a

Dec 9, 2012

当时爬A站的投稿，也是类似的
http://www.acfun.tv/v/ac493489
当时也没想到啥好方法，就弄了一个类来分配爬取的范围，然后N条线程请求
但这样做不知道会不会被百度检测到异常。。。

kenneth

Dec 9, 2012

@best1a 哥们你的问题应该和我类似，除开爬虫的问题，主要的问题是生成链接的效率问题。链接生成以后，现在我考虑可以异步,比如用gevent。
我现在希望找到一个高效的生成链接的方法。希望读到内存去。