爱意满满的作品展示区。
audestick

撸了一个 mongodb 和 elasticsearch 同步的小程序

  •  
  •   audestick ·
    audeSt · Sep 28, 2016 · 3308 views
    This topic created in 3542 days ago, the information mentioned may be changed or developed.

    MongoSyncElasticsearch

    mongo-connector 使用的时候有 bug,所以自己实现了一个用来实现 mongodb 和 elasticsearch 数据同步和增量更新的小程序

    说明

    • MongodbSyncElasticsearch-all 这个文件夹是用来实现全量复制,使用的字段是_id
    • MongodbSyncElasticsearch-increment 这个文件夹用来实现增量更新,使用的字段是 lastget_at
    • 注意:你可以根据你的数据结构来修改代码(非常简单)
    • 分成两个部分,是因为数据量太大,如果用MongodbSyncElasticsearch-all来实现增量更新,那么就会非常消耗资源以及会很慢,所以就换了一个字段,并且实现了本地文件的写入和读取

    希望对你有用:)

    • 有问题可以 audestick#gmail 或直接提 issue
    Supplement 1  ·  Sep 28, 2016
    1 replies    2016-09-28 14:41:36 +08:00
    Nexvar
        1
    Nexvar  
       Sep 28, 2016
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1337 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 17:15 · PVG 01:15 · LAX 10:15 · JFK 13:15
    ♥ Do have faith in what you're doing.