豆瓣的反爬虫这么严格了现在？

2019 年 2 月 9 日
 zhang2e

众所周知，豆瓣电影短评在未登录的情况下只能抓取到 200 条，我今天试了试登录，却也只能抓取到 500 条，然后我手动翻了下短评，发现真的只能查看 500 条，从根本上杜绝了爬虫，这也太狠了吧。这种杜绝大翻页的行为感觉「伤敌一千，自损八百」呢？！

11248 次点击
所在节点    分享发现
12 条回复
leido
2019 年 2 月 9 日
正常人能看 500 条？
tongyifan
2019 年 2 月 9 日
楼上正解
murmur
2019 年 2 月 9 日
一般人可能只看评分和首页评论
Biwood
2019 年 2 月 9 日
豆瓣电影短评翻页不知道什么时候改成异步加载的，我记得以前都是同步的
Eiden
2019 年 2 月 9 日
微博粉丝不也一样
panpanpan
2019 年 2 月 9 日
大概一年多以前就是这样了吧。
crab
2019 年 2 月 9 日
试下 app 端有没有限制
locoz
2019 年 2 月 9 日
正常人也不会看那么多
MoHen9
2019 年 2 月 9 日
豆瓣的 APP，每次在后台运行就跟重启一样，一点儿你之前浏览了什么的痕迹都不留，这点非常差劲。
x86
2019 年 2 月 9 日
正常人翻了 10 页左右我都觉得他闲得慌
starles
2019 年 2 月 10 日
去年课设要求做豆瓣爬虫，买了代理池才搞定
zhang2e
2019 年 2 月 10 日
的确正常人是不会看 500 条🤦‍♂️

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.xtra.eu.org/t/533596

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX