gazhang
V2EX  ›  问与答

对百万量级的数据如何快速聚类?

  •  
  •   gazhang · Aug 15, 2019 · 3567 views
    This topic created in 2491 days ago, the information mentioned may be changed or developed.

    我有 100 万条数据,每个数据是一个 200 维的向量,考虑对它们进行聚类。目前尝试了 scipy 的 k-means 聚类算法,但是半天没有结果。 计算平台是 windows 7,内存 16G。

    5 replies    2019-08-23 17:33:49 +08:00
    xxxy
        1
    xxxy  
       Aug 15, 2019
    有 gpu 的话可以用 tensorflow 的 k means,应该会快十几倍吧
    pwrliang
        3
    pwrliang  
       Aug 15, 2019 via Android
    上分布式吧,用 Spark 写个 K-means
    shidenggui
        4
    shidenggui  
       Aug 15, 2019
    pca 降维,再聚类
    gazhang
        5
    gazhang  
    OP
       Aug 23, 2019
    最后还是在好点的机器上跑了,大概半小时。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5132 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 09:30 · PVG 17:30 · LAX 02:30 · JFK 05:30
    ♥ Do have faith in what you're doing.