very new to 爬虫 python 现在在爬取京东评论，虽然能在 network 里面找到 js 加载请求的 url，拿到 json 文件，再改变页数把评论都爬下来 这样我每次爬取一个商品都要手动找 url，python 有没有方法可以不需要我手动把 url 找出来，感觉这种找 URL 的方式有点牵强 更好的做法是什么？请教一下大家
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2678 days ago, the information mentioned may be changed or developed.
 |
1
kingmo888 Feb 7, 2019
selenium 模拟浏览器了解一下。全部模仿人工操作。
如果出现类似淘宝那种限制的情况，pyqt5 自写浏览器了解一下。 |
 |
2
FridayGentleman Feb 7, 2019
京东商品一般有商品 ID 的吧，有 ID 拼接一下就有 URL 了吧，这是以前爬的经验
|
 |
3
snappyone Feb 7, 2019
2 楼说的 url 拼接，如果你要爬虫能从当前页面抓取其他商品 url 的话一般先拿到所有 url 然后通过正则匹配获取符合京东商品 url 的链接再继续爬取
|
 |
4
XxxxD Feb 8, 2019
前几天研究了一下，评论是有一个 api 链接的，然后请求的时候附上产品 id, 还有其他的评论的数量，页数什么的，然后这些递增就可以了，另外图片有水印的，链接改个数字就 ok 了
|
 |
5
SpiderXiantang Feb 9, 2019 via Android
最近在写京东的爬虫监控的开源项目 有兴趣一起搞吗
|
|
6
SpiderXiantang Feb 9, 2019 via Android
我之前做评论的思路是 先上级页面拿商品 id 然后拼接 url 还有就是京东的商品价格也做得很有意思
|
 |
7
Oane OP 看了大家的回复 京东评论是 js 再加载请求 可以找到请求的 url json 文件 改变 url 的 page 把评论拿到
这样的确是可以爬取 但是问题是单个商品我可以这样做 如果商品很多不可能一个一个找 而且评论的 url 我是手动 chrome network 找出来的 python 有没有库可以找到这些网络请求 得出请求的网址 |
|
8
Oane OP @SpiderXiantang 主要是这个 url 有的部分是没有规律的吧 商品 id,页数我可以拼接，fetchjson 开头的规律没看出来
关于合作 我还是个没毕业的实习小弟 技术一般 怕是帮不上什么忙了 |
|
9
Oane OP 刚才尝试了 js 的请求 url 里面有些东西删除也没事 可以采取 url 拼接的方式了
现在的问题是如何自动拿到这个 url |
Select Language