Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
zhangneww
V2EX  ›  云计算

Hadoop or Spark ?

  •  
  •   zhangneww · Jun 11, 2015 · 3112 views
    This topic created in 4019 days ago, the information mentioned may be changed or developed.
    本人大三学生,会一点 java,C#,python,C,熟练程度递减。

    之前 配置过 Storm, kafka, zookeeper。只是配置过。现在在配置 hadoop,64位本地库还没编译。

    打算学大数据,看到 Spark 比 hadoop 好一点,可以直接学 Spark 吗,V友们给点意见,谢谢。
    9 replies    2015-06-19 21:14:26 +08:00
    johnsmith123
        1
    johnsmith123  
       Jun 11, 2015   ❤️ 1
    只问一句 有100台服务器吗?
    Gonster
        2
    Gonster  
       Jun 11, 2015 via iPhone   ❤️ 1
    这里好像不是或关系吧...
    zhangneww
        3
    zhangneww  
    OP
       Jun 11, 2015
    @Gonster 先学 hadoop 吗?
    FeiMa
        4
    FeiMa  
       Jun 11, 2015
    要学的话,还是先学Hadoop吧。
    另,两个的应用场景不同,有需要的话,两个都要学。
    sleeperqp
        5
    sleeperqp  
       Jun 11, 2015
    看你是想往什么方向做了
    运维 就看看怎么怎么自动化配置 加上个docker nagios这些
    分布式平台 就看源码吧
    还是数据挖掘机器学习这类 先看理论然后在上面实现
    这两个都是平台而已
    20150517
        6
    20150517  
       Jun 12, 2015 via Android
    你这是做运维了吧?装啊装配置什么的。。。其实还是关键写的map reduce程序啊,说到底到的java水平啊
    zhchaos
        7
    zhchaos  
       Jun 12, 2015
    运维
    lujiajing1126
        8
    lujiajing1126  
       Jun 12, 2015
    Hadoop和Spark都不是同一层面上的吧

    Hadoop一般主要是MR和HDFS,主要是用来做离线计算的,非常底层的

    Spark是实时计算
    locatelli
        9
    locatelli  
       Jun 19, 2015
    现在的业务场景经常需要Hadoop和Spark结合,所以不是零和的关系
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2851 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 71ms · UTC 13:42 · PVG 21:42 · LAX 06:42 · JFK 09:42
    ♥ Do have faith in what you're doing.