现在有一亿条左右的数据存在 Mongo 和 es ,需要对它们进行修改和分析
同步
Mongo 数据较新,es 较旧,需要从 Mongo 根据 ID 查询出来,再到 ES 找到对应数据,更新其中几个字段,我希望速度快一点,是否可以用 spark 之类的方式自动分片去查询?
分析
还是这批数据,需要简单的分析、统计,是否可以用 hive 、impala 这种 OLAP 数据库?
Mongo 数据较新,es 较旧,需要从 Mongo 根据 ID 查询出来,再到 ES 找到对应数据,更新其中几个字段,我希望速度快一点,是否可以用 spark 之类的方式自动分片去查询?
还是这批数据,需要简单的分析、统计,是否可以用 hive 、impala 这种 OLAP 数据库?
1
Morriaty Nov 10, 2022
为什么要比较呢,删除 es 数据,直接把 mongo dump 出来再新建一个 es 索引不就行了么
|