Home Sign Up Sign In
zhangsan
V2EX  ›  问与答

想深入的学习爬虫相关的技术，哪位前辈给点指点，该学点啥？

  •   
  •   zhangsan · Aug 15, 2014 · 4501 views
    This topic created in 4317 days ago, the information mentioned may be changed or developed.
    先自我介绍下，做.NET开发4年了，ASP.NET，winfrom都搞过。
    一直有个进大公司的梦想，众所周知做c#很难进到大公司工作，加上又是专科毕业。
    看了某个稍微大点的公司，只有个爬虫岗位跟c#能沾点边。所以就盯上了这个岗位。
    工作这4年也接触过一些抓取的工作，都只是用正则抓一些文章、图片、模拟登录什么的，感觉有些小儿科。

    现在想深入、专业的学习下爬虫技术。

    求推荐路线、书籍、教程等

    同求专科程序员进大公司方法

    万分感谢！
  • 爬虫
  • 专科
  • 深入
    12 replies  •  2014-08-16 03:52:39 +08:00
    jptanggordon
        1
    jptanggordon  
       Aug 15, 2014
    男神拉扎尔0 0
    em70
        2
    em70  
       Aug 15, 2014 via Android
    用尽你的所有办法，去把豆瓣电影，图书数据抓下来，存到数据库里。遇到实在无法逾越的困难再上来问人
    Heavytiger
        3
    Heavytiger  
       Aug 15, 2014
    爬虫和采集是一个意思么？怎么都推崇这个呢？
    zhangsan
        4
    zhangsan  
    OP
       Aug 15, 2014
    @jptanggordon thk 只是喜欢图上那句话，我还真不知道头像上这是谁。
    @em70 变相的技术提升过程，好建议，感谢！这就去抓。



    一定是夜深了，也没人来看帖子~
    bengol
        5
    bengol  
       Aug 15, 2014
    去百度
    zhangsan
        6
    zhangsan  
    OP
       Aug 15, 2014
    @Heavytiger 没有专业的学过，请原谅 概念不清与用词拙略~
    MarioLuisGarcia
        7
    MarioLuisGarcia  
       Aug 15, 2014 via Android
    楼主能整站抓取知乎就牛逼了，上面好多删答案的
    binux
        8
    binux  
       Aug 15, 2014
    学一遍怎么做网站，前后端一起，然后你就会爬了。
    zhangsan
        9
    zhangsan  
    OP
       Aug 15, 2014
    @MarioLuisGarcia 之前抓过58，OCR过验证码，但是感觉不是很专业，想专业的学学爬虫。
    @binux 网站还是会写点，能写个符合Web标准的页面。
    no13bus
        10
    no13bus  
       Aug 15, 2014
    @zhangsan 队列服务和定时爬取 这些都做了吗？可以试试celery框架。最近我一直在用。非常棒。
    zhangsan
        11
    zhangsan  
    OP
       Aug 15, 2014
    @no13bus 框架还真没用过，任务队列单机版的用消费者模式实现过（.net下异步实现比较简单），分布式的没用过，现在确实想看看分布式的爬虫实现。
    iannil
        12
    iannil  
       Aug 16, 2014
    http://v2ex.com/t/127220
    之前回答过，楼主移步查看。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5708 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 82ms · UTC 03:11 · PVG 11:11 · LAX 20:11 · JFK 23:11
    ♥ Do have faith in what you're doing.