网站是如何识别像 Puppeteer 这样采用 chrome headless 模式的 node js 爬虫的？

2018 年 4 月 19 日
 nujabse

最近想用 Puppeteer 爬取 这个网站 的数据，发现爬取几个数据之后就很快被识别为机器人，弹出 recaptcha 的验证，已设置 UA 和 Cookie，模拟浏览器人工操作还是被封禁。这个网站是如何识别检测 puppeteer 爬虫的？

6510 次点击
所在节点    Node.js
5 条回复
gzlock
2018 年 4 月 19 日
瓶颈在 ip，上代理池
miyuki
2018 年 4 月 19 日
可能是 IP 频率？
soli
2018 年 4 月 20 日
道高一尺，魔高一丈。

复杂一点的，可以分析用户鼠标、键盘等动作。
yamedie
2018 年 4 月 20 日
操作频率太快了，设置点间隔
Sparetire
2018 年 4 月 20 日
蛮多的, 具体可以参考这两个
https://juejin.im/post/5a22af716fb9a045132a825c
https://cnodejs.org/topic/59c3352ee7d9a031127eadac
不过有些可能过时了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.xtra.eu.org/t/448252

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX