大家玩过爬虫吗?如果爬了一小会,就被封了 IP,那么这个 IP 以后过多久可以解封?还是说永远不解封了?

2017 年 1 月 9 日
 ericgui
我主要想了解,如果做了一爬虫,跑了一会,被封了,然后必须换一个 IP 吗?

我就 2 个 vps 。要是都被封了,岂不是要去买代理服务器?
14343 次点击
所在节点    PHP
20 条回复
feng123456
2017 年 1 月 9 日
大哥,爬虫一定要用网上的免费 ip 池啊。
另外 ip 解封时间是对方网站自己设置的,一般默认不超过 24 小时。
cute
2017 年 1 月 9 日
有专门卖代理的
wyntergreg
2017 年 1 月 9 日
跑一小会就被封了,你没设置间隔时间啊

被识别成恶意流量了吧
qa2080639
2017 年 1 月 9 日
很多免费 ip 啊 拿质量好的用。做好模拟
zhaixiaohu
2017 年 1 月 9 日
很多公司都是用公有云,然后一个月换一次 ip , ip 一次只买一个月的。
zhaixiaohu
2017 年 1 月 9 日
你要是个人,摸清规律后,可以买按配置付费的那种,封了就重新买一个新的。
484A4B
2017 年 1 月 9 日
可以试试我写的爬代理的爬虫

https://github.com/0xHJK/proxy-spider
GWesley
2017 年 1 月 9 日
首先肯定需要弄个 ip 池
抓取间隔不要过短
抓取时间加入一定随机性
ericgui
2017 年 1 月 9 日
@cute
@qa2080639
@zzycn2012 谢谢,我去试试 ip 池。菜鸟问题也能得到大家的回复,非常感谢!
scnace
2017 年 1 月 9 日
你需要代理池~ site 搜一下 Github IP ProxyPool
ericgui
2017 年 1 月 9 日
@scnace
@484A4B 已关注,正在研究,谢谢
scnace
2017 年 1 月 9 日
@ericgui 其实这个也在我的 TODO list 里面…
mengskysama
2017 年 1 月 9 日
aitaii
2017 年 1 月 9 日
爬虫的第一步,先爬代理池.
HmyBmny
2017 年 1 月 9 日
应该很快就会解封的,试想一下如果一个办公室几十个人用同一个 WIFI ,因为某人恶意访问而将 IP 封掉会影响另外几十个人的。
ichubei
2017 年 1 月 9 日
也可能永久封掉
ericgui
2017 年 1 月 10 日
@HmyBmny 有道理哈,即便是国外,普通居民家里也是动态 IP 。所以我猜除了封 IP 可能还有什么别的方式鉴别是否是“上次那个爬虫”
ninestep
2017 年 1 月 10 日
@ericgui 把 cookies 禁掉
ericgui
2017 年 1 月 10 日
@ninestep 了解,谢谢!
xiaoshangmin
2017 年 1 月 12 日
除了封 ip 会出现验证码之类的吗

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.xtra.eu.org/t/333358

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX