• 请不要在回答技术问题时复制粘贴 AI 生成的内容
husinhu
V2EX  ›  程序员

哪位爬虫大仙玩过从试过从淘宝店铺爬商品?

  •  
  •   husinhu · Dec 18, 2014 · 4307 views
    This topic created in 4196 days ago, the information mentioned may be changed or developed.
    商品展示的div是动态生成的,似乎是ajax(?),另外还用了kissy的lazyload。
    我试了headless firefox (selenium),WebDriver,都没成功。
    9 replies    2014-12-20 08:46:44 +08:00
    zealic
        1
    zealic  
       Dec 18, 2014
    用 Casper.js http://casperjs.org/
    zealic
        2
    zealic  
       Dec 18, 2014
    Selenium 最好用 Ghost Driver,和 Caspser.js 的技术原理是一样的
    binux
        3
    binux  
       Dec 18, 2014
    你会写一个淘宝店铺,你就会爬了。
    husinhu
        4
    husinhu  
    OP
       Dec 18, 2014
    @zealic 谢谢,这个和phantomjs啥区别,你试过吗
    husinhu
        5
    husinhu  
    OP
       Dec 18, 2014
    @binux 用过大神的pyspider,没搞过淘宝店铺!
    scarlex
        6
    scarlex  
       Dec 18, 2014
    @husinhu 那个是封装过的 phantomjs,简单一点
    icedx
        7
    icedx  
       Dec 18, 2014
    刚看来下淘宝居然用了webp
    YAFEIML
        8
    YAFEIML  
       Dec 19, 2014
    @zealic 头像好帅,求一个呗
    zealic
        9
    zealic  
       Dec 20, 2014
    @YAFEIML DOTA 的蓝猫歪脖子头像,当时貌似是在微博找到的。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2804 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 88ms · UTC 06:55 · PVG 14:55 · LAX 23:55 · JFK 02:55
    ♥ Do have faith in what you're doing.