高频爬取公开数据违法不？

真正“公开” 的数据 一般会有发布或推送渠道。否则很可能不能算“公开”

看用户协议和 robots

@silencefent 好的，谢谢

不想让你爬会有反扒和下毒的

没有在 robots.txt 允许的，一律为非法爬取，只是算不算你账的问题

@GeruzoniAnsasu 无需注册登录，即可访问的页面中的价格信息，应该算是公开的吧？（没发现有推送渠道）

@oma1989 算公开，但是不能用技术手段爬取

@murmur 的确做了反爬，但是他们的功能没起到作用。

@swulling 好的，了解了，感谢

给你标准答案：

看目标网站用户协议以及有无反扒机制。

如果对方的协议明示不可爬取本站信息并有相应反扒机制，你的行为等同破门而入。

就像公园写着 18 点闭园但大门没关，你进去玩虽不合法但一般都会被原谅，门若关着你爬墙进去就难以辨驳了。

所以合不合法不是看高频与否哦

@xiaoyazi 学到了，感谢

补充问个：高频下载后台提供的报表有风险不？

“高频”到影响网站正常访问的行为等同于”攻击“

听一堆法盲在这指点江山真是有意思。

这种事情去找个律师问下就完了，一些社区服务会有免费资询。

还什么 robots，反扒等，法律认可这些东西吗？

robots 只是一种行业的约定吧
根本没有法律效力
貌似

@wangxiaoaer 反扒这些是不想对簿公堂的时候用的手段
扒东西被起诉能用的罪名多了

数据公开怎么定义

爬取是不违法的，但是爬取后二次发布是否合法这个就……你自己掂量吧。