Python 爬虫抓取 Ajax 动态评论

2014 年 3 月 20 日
 buxiangshuo
http://comment5.news.sina.com.cn/comment/skin/default.html?channel=gn&newsid=1-1-29714243

通过chrome控制台简单粗暴得到json数据url，但是只能得到有限的评论。新浪新闻的评论都是动态加载的，不懂ajax也不太明白如何模拟header头，第一次写爬虫，真心累觉不爱啊，请哪位大神帮帮忙看下如何解决？最好详细一点，本人这方面小白一个 = _ =||

不胜感激！！！
8998 次点击
所在节点    Python
10 条回复
binux
2014 年 3 月 20 日
不懂就去弄懂
zoowii
2014 年 3 月 20 日
Google
wangfengmadking
2014 年 3 月 20 日
selenium或者PhantomJS都可以解决你的问题
yanpeipan
2014 年 3 月 20 日
python+selenium+PhantomJS
Livid
2014 年 3 月 20 日
import requests

headers = { ... }
url = ...
r = requests.get(url, headers=headers)
buxiangshuo
2014 年 3 月 20 日
感谢大家！问题已经解决啦~
s51431980
2014 年 3 月 20 日
@buxiangshuo 楼主怎么解决的，介绍一下思路？
zxc337
2014 年 3 月 20 日
怎么解决的，发我看看
keven
2014 年 3 月 26 日
解决了公布一下解决方式呗，ajax不难的，我做采集很多，用工具直接搞定
ikeeper
2017 年 7 月 11 日
帖主咋弄的，求指教啊，捣鼓半天发现 js 请求后面跟了一个随机数，不知道怎么继续了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.xtra.eu.org/t/105104

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX