奇思妙想：灵光闪现，想搞一个爬虫平台，有没有可能会火？

2017 年 11 月 20 日
 aidevs
（不喜勿喷：都说了是灵光闪现）

想法是这样子的：

首先有这样一个平台，可以让爬虫爱好者提交爬虫上来 （不仅仅是可以爬网站，还可以爬公众号、头条号 ====）

比如：某爬虫爱好者，提交了一个 V2EX 最新帖子 和 最热帖子的爬虫进来

然后：这个爬虫可以让其他用户订阅使用

当聚集了一定的爬虫爱好者，每天会产生很多内容

主要的意义：聚合碎片化的阅读，为用户节约时间

当然一个平台需要不断的优化调整才能达到更好的体验，
这只是一个小小的想法，不知道能吸引到人来写爬虫不
7767 次点击
所在节点    奇思妙想
44 条回复
Evrins
2017 年 11 月 20 日
好像已经有一个这样的网站了
aidevs
2017 年 11 月 20 日
@Evrins 求地址
shower
2017 年 11 月 20 日
@dbfox 即刻
watzds
2017 年 11 月 20 日
那么多爬虫 /反爬虫工程师，那么费劲，一定程度上共享得了
lneoi
2017 年 11 月 20 日
已经有了...V 站里之前不就有在推广
evlos
2017 年 11 月 20 日
之前那个搞什么云爬虫的服务在 V2EX 做了那么多推广也没见人再提过 …
aidevs
2017 年 11 月 20 日
@evlos
@lneoi

我也知道那个，用了两下，觉得可玩性不好，而且有点复杂了，不过技术应该很强
而且他主要是做通用爬虫，而我倾向内容聚合，产品不在一个方向
ywgx
2017 年 11 月 20 日
可爱的
beastk
2017 年 11 月 20 日
就怕被不法分子利用
aidevs
2017 年 11 月 20 日
@ywgx ?_?
aidevs
2017 年 11 月 20 日
@beastk 安全问题不必考虑太早，技术做产品大忌
40huo
2017 年 11 月 20 日
之前好像看到过一个做了个框架，然后上面有各种人写的爬虫，还有些是付费的。
liangjing414
2017 年 11 月 20 日
网上 搜 “神箭手”，不谢
qiqico
2017 年 11 月 20 日
有个网站 showapi, 提供很多接口调用，其中也包括一些爬虫接口，还可以在线自定义爬取规则
ersic
2017 年 11 月 20 日
@dbfox 聚合话应该就是即刻了
cheetah
2017 年 11 月 20 日
即刻： https://okjike.com
1931
2017 年 11 月 20 日
深蓝阅读？
em70
2017 年 11 月 20 日
很早前就见过,主打不是共享,而是傻瓜化爬取,还是工具型的产品,不吸引人.

按楼主的想法,应该是数据驱动的,核心是爬取的数据共享,比工具共享要好,可以试试
110male
2017 年 11 月 20 日
管理，封他账号，他要爬 v2ex
aidevs
2017 年 11 月 20 日
@110male
^_^

只爬列表，不抓取内页，最终访问地址还是到源网站上

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.xtra.eu.org/t/407837

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX