当爬虫遇到防火墙

2016 年 11 月 26 日
 TKKONE

之前每天定时爬的网站，加上了金盾防火墙，然后首次访问会有,http://www.xxx.com/?jdfwkey=yyyyyy 就是会有 jdfwkey 这个参数。。。不知道大家爬虫有没有遇到这种情况？怎么解决。。。

4986 次点击
所在节点    Python
23 条回复
TKKONE
2016 年 11 月 26 日
啊！！！找到办法了！！！没有动手直接问果然不好！！！
Troevil
2016 年 11 月 26 日
卧槽,我就这么打开了
czk1997
2016 年 11 月 26 日
@Livid NSFW 以及这车有点快……
wjm2038
2016 年 11 月 26 日
@czk1997 为啥我感觉只是他随便发的网站
annielong
2016 年 11 月 26 日
记得不是一直有 key ，或者和其他网站记混了，反正我是连可以一起抓
TKKONE
2016 年 11 月 26 日
？？？？？
@czk1997
随便写的 xxx 能打开？？？
TKKONE
2016 年 11 月 26 日
我曹，还真的能打开！！！我只是作为示例写的网站地址
wdlth
2016 年 11 月 26 日
@tumbzzc 经典域名，上学时我们学校刚接入 ADSL ，然后某领导为了试试怎么上网就输入了这个域名，然后……
Arnie97
2016 年 11 月 26 日
@wdlth 笑死，居然真能打开
还是用 example.com 比较稳妥
czk1997
2016 年 11 月 26 日
@wjm2038 看出来是瞎打的，可惜一不小心玩脱了……
merrygreek
2016 年 11 月 26 日
老司机。
lixingcong
2016 年 11 月 26 日
钓鱼贴 活捉老司机
razrlele
2016 年 11 月 26 日
笑出声
nadoo
2016 年 11 月 26 日
话说还经常在一些示例里面写 xxx.com ，看样子以后得小心了。。。
jalena
2016 年 11 月 26 日
貌似必须开代理才能打开..
feather12315
2016 年 11 月 26 日
笑…
Chappako
2016 年 11 月 26 日
厉害了
sunulin
2016 年 11 月 26 日
不小心点开了，，哥别闹可以不😣
DesignerSkyline
2016 年 11 月 26 日
所以示例这种网址应该养成习惯，用 www.example.com
hard2reg
2016 年 11 月 26 日
@tumbzzc 我曹打开了居然！

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.xtra.eu.org/t/323400

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX